[論文レビュー] Is Curiosity All You Need? On the Utility of Emergent Behaviours from Curious Exploration

Oliver Groth, Markus Wulfmeier+6 more|arXiv (Cornell University)|Sep 17, 2021

Reinforcement Learning in Robotics参考文献 34被引用数 7

ひとこと要約

本論文では、強化学習における好奇心駆動型探索から生じる発現的行動を保持することを提案し、それら自己発見的スキル（一時的ではあるが）を下流タスクへの転移に活用することを主張している。オフポリシーの好奇心手法（SelMo）を用いて、著者らは単純なポリシーのスナップショットが多様で有用な行動を捉えられることを示し、複雑な操作および歩行タスクにおいて、手作業で設計されたカリキュラムと同等の性能を達成できることを示した。

ABSTRACT

Curiosity-based reward schemes can present powerful exploration mechanisms which facilitate the discovery of solutions for complex, sparse or long-horizon tasks. However, as the agent learns to reach previously unexplored spaces and the objective adapts to reward new areas, many behaviours emerge only to disappear due to being overwritten by the constantly shifting objective. We argue that merely using curiosity for fast environment exploration or as a bonus reward for a specific task does not harness the full potential of this technique and misses useful skills. Instead, we propose to shift the focus towards retaining the behaviours which emerge during curiosity-based learning. We posit that these self-discovered behaviours serve as valuable skills in an agent's repertoire to solve related tasks. Our experiments demonstrate the continuous shift in behaviour throughout training and the benefits of a simple policy snapshot method to reuse discovered behaviour for transfer tasks.

研究の動機と目的

• 連続制御環境における好奇心ベースの探索中に発生する発現的行動が、下流タスク学習に有用であるかどうかを調査すること。
• 好奇心ベースの探索の限界、すなわち目的の変化や深刻な忘却に伴い行動が出現・消滅することへの対処。
• 一時的なこれらの行動を識別し、階層的学習設定における再利用可能なスキルとして再利用する手法の提案。
• 好奇心学習から自己発見された行動が、手作業で設計されたカリキュラス学習手法と同等またはそれ以上の性能を達成できるかどうかの評価。
• 好奇心駆動型探索を単なる探索手法としてではなく、継続的学習のための自己教師付きスキルレパートリーの源として利用可能かどうかの可能性の探求。

提案手法

• 前向き予測的世界モデルを用いて内因的好奇心報酬を生成する、好奇心ベースの探索のオフポリシー実装であるSelMoを提案。
• 状態遷移における予測誤差を最大化するようにポリシーを訓練することで、外部の報酬設計なしに新規状態の探索を促進。
• 訓練の各段階でポリシーのスナップショットを収集・保存し、時間経過に伴う異なる発現的行動を表現。
• これらのスナップショットを固定された再利用可能なスキルとして、下流タスクのための階層的RL設定に活用。
• 各スナップショットを別々に新しいタスクでファインチューニングするモジュラーなトレーニングパイプラインを採用し、再訓練なしにスキル再利用を可能に。
• シミュレーション上での複雑な9自由度のJACOアームおよび20自由度のOP3ヒューマノイドロボット環境で性能を評価。

実験結果

リサーチクエスチョン

• RQ1 好奇心ベースの探索から生じる発現的行動は、下流タスクの再利用可能なスキルとして識別・保持可能か？
• RQ2 好奇心生成スナップショットで訓練されたポリシーの性能は、複雑な操作および歩行タスクにおいて、手作業で設計されたカリキュラスと比較してどうか？
• RQ3 明示的な報酬設計なしに、好奇心学習から自己発見された行動がどれほど多様でタスク関連のスキルを捉えられるか？
• RQ4 オフポリシー学習は、オンポリシーの好奇心手法と比較して、発現的行動の多様性と安定性を向上させるか？
• RQ5 追加の報酬設計なしに、単純なスナップショットベースの手法がタスク間で効果的にスキルを転送できるか？

主な発見

• 3次元ロボット環境における好奇心ベースの訓練中に、到達、把持、持ち上げ、歩行の歩様など、複雑で多様な行動が自然に発現する。
• ポリシーのスナップショットを再利用可能なスキルとして用いることで、JACOおよびOP3ロボットの下流タスクにおける操作タスクで、手作業で設計されたカリキュラスと同等の性能を達成した。
• 好奇心の目的が変化しても、発現的行動の大部分が安定的かつタスク間で転送可能であり、それらが内部的スキルとしての有用性を示している。
• オフポリシー実装（SelMo）は、オンポリシーの対比手法と比較して、より多様で安定した行動発現をもたらし、データ効率とスキルの多様性を向上させた。
• 本手法は、好奇心ベースの探索が単なる発見メカニズムにとどまらず、自己教師付きスキルレパートリーの源にもなり得ることを示した。
• 明示的な報酬設計なしに、自己発見された行動は広範なタスク関連スキルをカバーしており、長時間スパンおよびマルチタスク設定へのスケーラビリティを示唆している。