[論文レビュー] Continual Learning of Control Primitives: Skill Discovery via Reset-Games

Kelvin Xu, Siddharth Verma+2 more|arXiv (Cornell University)|Nov 10, 2020

Reinforcement Learning in Robotics参考文献 55被引用数 8

ひとこと要約

本論文は、タスクポリシーとリセットポリシーを競わせる一般和ゲームフレームワークを提案し、リセットを伴わない強化学習と自己教師付きスキル発見を同時に実現する。リセットの必要性を制御プリミティブの多様性を学ぶための訓練信号として扱うことで、手動でのリセットが不要な堅牢で転移可能なスキルを学習する。シミュレーションおよび現実世界の両方の環境で、長期のタスクにおいて顕著な性能向上を達成する。

ABSTRACT

Reinforcement learning has the potential to automate the acquisition of behavior in complex settings, but in order for it to be successfully deployed, a number of practical challenges must be addressed. First, in real world settings, when an agent attempts a task and fails, the environment must somehow "reset" so that the agent can attempt the task again. While easy in simulation, this could require considerable human effort in the real world, especially if the number of trials is very large. Second, real world learning often involves complex, temporally extended behavior that is often difficult to acquire with random exploration. While these two problems may at first appear unrelated, in this work, we show how a single method can allow an agent to acquire skills with minimal supervision while removing the need for resets. We do this by exploiting the insight that the need to "reset" an agent to a broad set of initial states for a learning task provides a natural setting to learn a diverse set of "reset-skills". We propose a general-sum game formulation that balances the objectives of resetting and learning skills, and demonstrate that this approach improves performance on reset-free tasks, and additionally show that the skills we obtain can be used to significantly accelerate downstream learning.

研究の動機と目的

• 現実世界のロボット工学における非エピソード的でリセットフリーの強化学習の課題に対処すること。
• 人為的な報酬設計や監視なしに、多様で時間的に長い制御プリミティブ（スキル）を発見すること。
• スキル発見とリセットフリー学習の目的を統合的に扱う1つの協調的訓練フレームワークに統合すること。
• タスクポリシーとの敵対的相互作用を通じて学習したスキルを活用することで、サンプル効率と長期タスクの下流性能を向上させること。
• リセットフリーで敵対的な環境で学習したスキルが、従来の自己教師付きまたはリセット依存の手法よりも効果的で汎用性が高いことを実証すること。

提案手法

• タスクポリシーとリセットポリシーの間で一般和ゲームを定式化し、タスクポリシーは与えられたタスクを達成することを目的とし、リセットポリシーは状態を変更してタスクの難易度を高めることを目的とする。
• スキルを表す共有潜在空間を用い、リセットポリシーがタスクポリシーが解くべき多様な初期状態を生成可能にする。
• 二重の目的関数に基づく訓練信号を採用：タスクポリシーはタスク成功を最適化し、リセットポリシーはタスクポリシーにとって困難な状態を発見することで、スキルの多様性を促進する。
• カリキュラムに類似した訓練スケジュールを導入し、タスクポリシーが段階的により複雑な初期状態にさらされるようにすることで、耐性を高める。
• 状態表現（全状態または(x,y)位置）を用いてスキル学習をガイドし、アブレーション実験により、異なる表現間での一般化性能の向上が示された。
• 両ポリシーにオフポリシー強化学習アルゴリズム（例：SAC）を適用し、連続制御環境におけるサンプル効率の高い訓練を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つの訓練フレームワークが、人為的監視なしにリセットフリー学習と効果的なスキル発見を同時に可能にするか？
• RQ2 タスクポリシーとリセットポリシーの敵対的相互作用は、標準的な自己教師付き手法よりも多様で有用なスキルを生み出すか？
• RQ3 リセットフリー環境で学習したスキルは、下流の長期タスクに一般化可能であり、リセットに依存する手法を上回る性能を示すか？
• RQ4 状態表現の選択（例：全状態対(x,y)）が、学習されたリセットスキルの質と一般化性能に与える影響は？
• RQ5 本手法は、従来の自己教師付きおよびリセット依存のスキル学習手法と比較して、どの程度サンプル効率と下流タスク性能を向上させるか？

主な発見

• 提案されたリセットゲーム手法は、従来の自己教師付き手法と比較して、Ant-MediumMazeタスクで著しく高い報酬を達成し、DADS や DIAYN と同等のリセットフリー設定下で最大2.5倍の性能向上を示した。
• Ant-WayPointsナビゲーションタスクにおいて、全状態表現および(x,y)表現の両設定でベースライン手法を上回り、状態表現の選択に対して頑健であることが示された。
• リセットゲームを用いて学習したスキルは、従来手法と比較してはるかに広範な状態空間をカバーする。Ant環境の軌道では、従来手法が短い方向移動しか学習しないのに対し、10m以上の長距離移動が可能となった。
• オラクルリセットが存在しない状況下でも、効果的なリセットフリー学習が可能であり、従来手法がリセットの欠如により失敗する環境でも安定した訓練と収束を達成した。
• 階層的ポリシーがリセットフリーで全状態表現の設定下で複雑な迷路を正常にナビゲートできたことから、発見されたスキルは階層的制御に適しており、多様性と有効性が裏付けられた。
• アブレーションスタディの結果、リセットゲームにおける敵対的目的関数が極めて重要であることが判明した。これを除去するとスキルの多様性が低下し、下流タスクの性能も悪化した。これは、挑戦がスキル品質に与える役割を確認するものである。