[論文レビュー] Data-efficient Hindsight Off-policy Option Learning

Markus Wulfmeier, Dushyant Rao+9 more|arXiv (Cornell University)|May 4, 2021

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、オフポリシー更新と微分可能ダイナミックプログラミング推論を用いて、行動方策から方策最適化を分離することで、データ効率の高い学習を可能にする、オフポリシー選択肢学習アルゴリズムであるHindsight Off-policy Options（HO2）を提案する。HO2は、オフポリシー学習がデータ効率を顕著に向上させることを示し、フラットな方策でさえもオンポリシー選択肢手法を上回ることを示しており、複雑なロボット操作タスクにおいて、行動抽象化と時間抽象化の両方が不可欠であることを示している。

ABSTRACT

Hierarchical approaches for reinforcement learning aim to improve data efficiency and accelerate learning by incorporating different abstractions. We introduce Hindsight Off-policy Options (HO2), an efficient off-policy option learning algorithm, and isolate the impact of action and temporal abstraction in the option framework by comparing flat policies, mixture policies without temporal abstraction, and finally option policies; all with comparable policy optimization. When aiming for data efficiency, we demonstrate the importance of off-policy optimization, as even flat policies trained off-policy can outperform on-policy option methods. In addition, off-policy training and backpropagation through a dynamic programming inference procedure -- through time and through the policy components for every time-step -- enable us to train all components' parameters independently of the data-generating behavior policy. We continue to illustrate challenges in off-policy option learning and the related importance of trust-region constraints. Experimentally, we demonstrate that HO2 outperforms existing option learning methods and that both action and temporal abstraction provide strong benefits in particular in more demanding simulated robot manipulation tasks from raw pixel inputs. Finally, we develop an intuitive extension to encourage temporal abstraction and investigate differences in its impact between learning from scratch and using pre-trained options.

研究の動機と目的

• オフポリシー学習と選択肢フレームワークを統合することで、階層的強化学習におけるデータ効率を向上させること。
• 行動抽象化と時間抽象化の選択肢学習における寄与を分離し、定量的に評価すること。
• 特に分布シフトによって引き起こされる不安定性に起因する、オフポリシー選択肢学習の課題に対処すること。
• 時間遡及バックプロパゲーションと方策コンポonentを介したバックプロパゲーションにより、エンドツーエンドで独立して選択肢コンポーネントを訓練できる手法を開発すること。
• 事前学習済み選択肢と時間抽象化が、事前学習およびファインチューニングの両状況下での学習効率に与える影響を調査すること。

提案手法

• オフポリシー更新を用いて行動方策から方策最適化を分離する、オフポリシー手法であるHindsight Off-policy Options（HO2）を導入する。
• 各タイムステップで、時間遡及と方策コンポーネントを介したバックプロパゲーションが可能な、微分可能ダイナミックプログラミング推論を採用する。
• オンポリシーのロールアウトを必要とせず、方策、終了関数、価値関数のすべての選択肢パラメータを独立して訓練可能である。
• オフポリシー選択肢学習における分布シフトを緩和するため、信頼領域制約を適用する。
• 訓練中に時間抽象化を促進するため、カリキュラムスタイルのメカニズムをフレームワークに拡張する。
• 現実的で高次元な入力条件下での性能評価を目的とし、シミュレーテッドロボット操作タスクにおいて、生ピクセル観測を用いる。

実験結果

リサーチクエスチョン

• RQ1 オフポリシー学習は、オンポリシー手法と比較して、選択肢学習におけるデータ効率にどのように影響を与えるか？
• RQ2 行動抽象化と時間抽象化は、複雑な制御タスクにおいて、それぞれ独立してどの程度性能向上に寄与するか？
• RQ3 ダイナミックプログラミング推論を介したバックプロパゲーションによるオフポリシー学習が、選択肢コンポーネントの安定的かつ効率的な訓練を可能にするか？
• RQ4 信頼領域制約は、オフポリシー選択肢学習の安定性と性能にどのように影響を与えるか？
• RQ5 事前学習済み選択肢の活用と時間抽象化の促進は、収束速度とサンプル効率の向上に寄与するか？

主な発見

• オフポリシー学習はデータ効率を顕著に向上させ、フラットな方策でさえもオンポリシー選択肢手法を上回る性能を示した。
• 複雑なシミュレーテッドロボット操作タスクにおいて、生ピクセル入力から得られるデータにおいて、行動抽象化と時間抽象化の両方が顕著な利点を提供した。
• 複雑な制御ベンチマークにおいて、サンプル効率と最終的なパフォーマンスの両面で、既存の選択肢学習手法を上回った。
• 信頼領域制約は、オフポリシー選択肢学習の安定性を確保し、危険な方策更新を防ぐために不可欠であった。
• 提案手法により、時間遡及と方策コンポーネントを介したバックプロパゲーションにより、エンドツーエンドの選択肢コンポーネント訓練が可能になり、独立した最適化が実現した。
• カリキュラム学習による時間抽象化の促進は、収束速度の向上とパフォーマンスの改善に寄与し、特に事前学習済み選択子が使用された場合には顕著であった。