[論文レビュー] Off-policy Multi-step Q-learning

Gabriel Kalweit, Maria Huegle+1 more|arXiv (Cornell University)|Sep 25, 2019

Reinforcement Learning in Robotics参考文献 11被引用数 4

ひとこと要約

本稿では、短時間と長期のリターンをそれぞれ切り捨てられた関数とずらされた関数でモデル化する、切り捨てられかつずらされたQ関数を用いた、オフポリシーのマルチステップ時系列差分法であるComposite Q-learningを提案する。この手法は、深層強化学習におけるデータ効率を向上させ、シミュレートされたロボット制御タスクにおいてTD3および最先端のオフポリシー手法を上回る性能を発揮する。

ABSTRACT

In the past few years, off-policy reinforcement learning methods have shown promising results in their application for robot control. Deep Q-learning, however, still suffers from poor data-efficiency which is limiting with regard to real-world applications. We follow the idea of multi-step TD-learning to enhance data-efficiency while remaining off-policy by proposing two novel Temporal-Difference formulations: (1) Truncated Q-functions which represent the return for the first n steps of a policy rollout and (2) Shifted Q-functions, acting as the farsighted return after this truncated rollout. We prove that the combination of these short- and long-term predictions is a representation of the full return, leading to the Composite Q-learning algorithm. We show the efficacy of Composite Q-learning in the tabular case and compare our approach in the function-approximation setting with TD3, Model-based Value Expansion and TD3(Delta), which we introduce as an off-policy variant of TD(Delta). We show on three simulated robot tasks that Composite TD3 outperforms TD3 as well as state-of-the-art off-policy multi-step approaches in terms of data-efficiency.

研究の動機と目的

• 実世界のロボット制御アプリケーションにおけるオフポリシーの深層強化学習のデータ効率を向上させること。
• 最近のオフポリシー手法の進展にもかかわらず、深層Q学習のサンプル効率の限界を解消すること。
• 安定性を保ちつつリターン推定を改善する、新しいオフポリシーのマルチステップTD学習定式化を開発すること。
• 短時間と長期のリターン予測を組み合わせることで、より正確な価値関数近似を可能にすること。

提案手法

• ポリシーのロールアウトの最初のnステップにおけるリターンを表すために、切り捨てられたQ関数を導入する。
• 切り捨てられたロールアウトの後に続く先見的なリターンをモデル化するため、ずらされたQ関数を提案する。
• 切り捨てられたQ関数とずらされたQ関数を組み合わせ、全リターンの複合表現を構築する。
• この複合リターン定式化に基づき、新しいオフポリシー学習アルゴリズムであるComposite Q-learningを導出する。
• テーブル設定および関数近似設定の両方でこの手法を適用する。これには、Composite TD3と呼ばれる変種も含む。
• 比較評価のため、TD(Delta)のオフポリシー版であるTD3(Delta)を導入する。

実験結果

リサーチクエスチョン

• RQ1 短時間と長期のリターン予測の組み合わせが、オフポリシーの深層強化学習におけるデータ効率を向上させることができるか？
• RQ2 提案されたComposite Q-learning手法は、TD3および他のオフポリシーのマルチステップ手法と比較して、サンプル効率に優れているか？
• RQ3 切り捨てられたQ関数とずらされたQ関数の使用が、オフポリシー設定におけるより安定的かつ正確な価値関数学習をもたらすか？
• RQ4 複合リターン定式化は、学習性能の向上を図りながらも、オフポリシーの一貫性を維持できるか？

主な発見

• Composite Q-learningは、テーブル設定および関数近似設定において、TD3よりも優れたデータ効率を達成した。
• Composite TD3は、3つのシミュレートされたロボット制御タスクにおいて、学習効率および最終的性能の両面でTD3を上回った。
• この手法は、最先端のオフポリシーのマルチステップアプローチを上回るデータ効率を示し、より良いサンプル利用効率を実現した。
• 切り捨てられたQ関数とずらされたQ関数の組み合わせにより、全リターンのより正確な表現が可能となり、学習の安定性および収束性が向上した。