[論文レビュー] Self-Paced Contextual Reinforcement Learning

Pascal Klink, Hany Abdulsamad+2 more|arXiv (Cornell University)|Oct 7, 2019

Reinforcement Learning in Robotics参考文献 34被引用数 8

ひとこと要約

本稿では、自己学習的文脈的強化学習（SPRL）を提案する。これは、局所的報酬の増加とターゲット文脈分布への進行のバランスを取ることで、訓練中にタスクの分布を自律的に調整できるカリキュラム学習のアプローチである。相対エントロピー方策探索フレームワークと自己学習的カリキュラムを統合することで、SPRLは著しく向上したデータ利用効率を達成し、バーレットWAMロボットを用いたボールインアーカップタスクを含む、挑戦的なスパース報酬ロボットタスクにおいても成功した学習を可能にした。

ABSTRACT

Generalization and adaptation of learned skills to novel situations is a core requirement for intelligent autonomous robots. Although contextual reinforcement learning provides a principled framework for learning and generalization of behaviors across related tasks, it generally relies on uninformed sampling of environments from an unknown, uncontrolled context distribution, thus missing the benefits of structured, sequential learning. We introduce a novel relative entropy reinforcement learning algorithm that gives the agent the freedom to control the intermediate task distribution, allowing for its gradual progression towards the target context distribution. Empirical evaluation shows that the proposed curriculum learning scheme drastically improves sample efficiency and enables learning in scenarios with both broad and sharp target context distributions in which classical approaches perform sub-optimally.

研究の動機と目的

• 古典的な文脈的強化学習の限界、すなわち未知の文脈分布からの無情報的サンプリングに起因する、低いデータ利用効率および複雑または鋭いターゲット分布における失敗を解決することを目的としている。
• 人間のような段階的学習を模倣するために、エージェントが中間タスク分布を制御することで学習プロセスを能動的に形作れるようにすることを目的としている。
• 多タスク強化学習における一般化性能と収束速度の向上を図る実用的な自己学習的カリキュラムメカニズムの開発を目的としている。
• 局所的パフォーマンスの向上とターゲット文脈分布への長期的進行のバランスを取ることで、局所的最適解に陥るのを避けることを目的としている。

提案手法

• 本手法は、文脈的相対エントロピー方策探索（C-REPS）を用いてカリキュラム学習を1ステップ最適選択問題として定式化し、局所的報酬最大化とターゲット文脈分布への期待される進行のトレードオフを最適化する。
• 現在のポリシー分布と過去のポリシー分布とのKLダイバージェンスを制約として組み込むラグランジュ双対定式化を導入し、安定したポリシー更新を保証する。
• アルゴリズムは時間とともに文脈のサンプリング分布 ˜µ(c) を動的に調整し、初期には容易で確率の高い領域から始め、次第にターゲット分布 µ(c) 側にシフトさせる。
• 探索（KL制約による）と活用（利得関数 A(θ,c) による）のバランスを取るために、ヒューリスティックなパラメータ α を導入し、α は即時のパフォーマンスとターゲットへの長期的経路の両方を優先するように調整される。
• 最適性条件 p∗(θ,c) ∝ q(θ,c) exp(A(θ,c)/η) から導かれるポリシー更新則は、利得に基づいたソフトマックス再重み付けを実行し、ポリシー分布を再調整する。
• このフレームワークは他の文脈的強化学習アルゴリズムと互換性があり、データ利用効率の向上を図るためのステップベースのポリシー探索へも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 自己学習的カリキュラムメカニズムは、スパース報酬を示すロボットタスクにおける文脈的強化学習のデータ利用効率を向上させることができるか？
• RQ2 エージェントが中間タスク分布を制御できるようにすることで、ランダムまたは固定の文脈サンプリングと比較して収束が速くなり、一般化性能が向上するか？
• RQ3 広がりや鋭いピークを持つターゲット文脈分布を示すタスクにおいて、提案手法は古典的手法が失敗する状況でも有効に機能するか？
• RQ4 グローバルな最適カリキュラムの知識がなくても、ローカル最適化手順によって自己学習的カリキュラムを効果的に学習できるか？
• RQ5 トレードオフパラメータ α が、複雑な操作タスクにおける学習速度と最終パフォーマンスに与える影響は何か？

主な発見

• SPRLは、C-REPS、CMA-ES、GoalGAN、SAGG-RIACと比較して、スパースなボールインアーカップタスクにおいて著しく高速な収束と高い成功確率を達成し、200イテレーション以内に成功確率が1.0に達した。
• ベースライン手法が失敗する鋭いターゲット文脈分布を示す状況でも、本手法は成功した。これは、複雑で非一様な分布に対しても頑健であることを示している。
• 自己学習的カリキュラムは、初期段階の容易な領域からターゲット分布 µ(c) 側へ向かって、サンプリング分布 ˜µ(c) を動的にシフトさせた。これは図5に可視化されており、意図された進行を確認できる。
• 実験的結果から、SPRLは特にスパース報酬環境において、困難な操作タスクでデータ複雑性を桁違いに低減した。
• 10回の最良実行結果の50%分位数成功確率において、すべてのベースラインを上回った。シェイドされた10%–90%区間は、一貫性のあるパフォーマンスを示している。
• SPRLの成功は、高次元でスパース報酬の環境においても、KL制約付き最適化により局所的最適解を避けることができ、安定したポリシー更新を維持できる能力に起因するとされた。