[論文レビュー] To Follow or not to Follow: Selective Imitation Learning from Observations.

Youngwoon Lee, Edward S. Hu+2 more|arXiv (Cornell University)|Jan 1, 2019

Robot Manipulation and Learning被引用数 8

ひとこと要約

本稿では、観測のみを用いて示範から学習することができる選択的模倣学習（SILO）を提案する。SILOは、示範から到達可能な状態のみを選択的に模倣することで、エージェントの環境や能力が専門家と異なる場合でも、信頼性のあるタスク実行を可能にする。シミュレート環境および実ロボット環境の両方で成功を収めた。

ABSTRACT

Learning from demonstrations is a useful way to transfer a skill from one agent to another. While most imitation learning methods aim to mimic an expert skill by following the demonstration step-by-step, imitating every step in the demonstration often becomes infeasible when the learner and its environment are different from the demonstration. In this paper, we propose a method that can imitate a demonstration composed solely of observations, which may not be reproducible with the current agent. Our method, dubbed selective imitation learning from observations (SILO), selects reachable states in the demonstration and learns how to reach the selected states. Our experiments on both simulated and real robot environments show that our method reliably performs a new task by following a demonstration. Videos and code are available at this https URL .

研究の動機と目的

• エージェントの環境や能力が専門家の示範と異なる場合の模倣学習の課題に対処すること。
• 専門家の行動シーケンスが不要な状態での観測のみを用いた模倣学習を可能にすること。
• 示範から到達可能な状態のみを選択する手法を開発し、実行可能性と性能を向上させること。
• シミュレート環境および現実世界のロボット環境の両方で信頼性のあるタスク実行を可能にすること。

提案手法

• エージェントの現在の状態と環境ダイナミクスに基づき、示範から到達可能な状態を選択する。
• 模倣問題を、エージェントが示範の選択された状態に到達するのを学習するゴール条件付き強化学習タスクとして定式化する。
• 到達可能性評価メカニズムにより、示範内のどの状態がエージェントが達成可能かを特定する。
• 選択された状態に対して模倣損失を用いてエージェントを訓練し、状態分布を横断して一般化する方策を学習に集中させる。
• 到達すべき目標状態に条件付けられた方策ネットワークを用い、その状態に到達する行動を予測する。
• 専門家の行動を含まない、観測のみから構成される示範を用いて、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、専門家の行動にアクセスできない状態での示範からの観測のみを用いて、タスクを実行できるか？
• RQ2 エージェント自身の能力と環境を考慮した場合、示範内のどの状態が到達可能かを特定できるか？
• RQ3 すべての状態を模倣するのと比較して、到達可能な状態のみを選択的に模倣することで、性能にどの程度の向上が得られるか？
• RQ4 提案手法は、示範とは状態分布が異なる現実世界のロボット環境にも一般化可能か？

主な発見

• SILOは、エージェントと環境が専門家と異なる状況下でも、示範から到達可能な状態のみを選択的に模倣することで、新たなタスクを実行可能にする。
• 本手法は、シミュレート環境および実ロボット環境の両方で信頼性のあるタスク実行を達成し、分布シフトに対して耐性があることを示した。
• 到達可能な状態に焦点を当てることで、達成不能な目標による方策の崩壊リスクを低減し、学習の安定性を向上させた。
• すべての示範ステップを追うベースライン手法と比較して、特に環境や能力が不一致な状況下で優れた性能を発揮した。
• 実験により、選択的模倣戦略が、複雑な操作タスクにおいて高い成功確率と高速な収束をもたらすことが示された。
• 実機へのデプロイによる検証により、最小限のファインチューニングで現実世界の設定にも良好に一般化できることを確認した。