[論文レビュー] State Alignment-based Imitation Learning

Fangchen Liu, Zhan Ling+2 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 40被引用数 12

ひとこと要約

本稿では、エキスパートと模倣者との間でダイナミクスの不一致が生じる状況下でも、ポリシーの模倣性能を向上させる、状態整合性に基づく強化学習手法を提案する。正則化された強化学習目的を通じて、局所的およびグローバルな視点から状態シーケンスを整合化することで、標準的および挑戦的なダイナミクス不一致設定の両方で優れた性能を達成する。

ABSTRACT

Consider an imitation learning problem that the imitator and the expert have different dynamics models. Most of existing imitation learning methods fail because they focus on the imitation of actions. We propose a novel state alignment-based imitation learning method to train the imitator by following the state sequences in the expert demonstrations as much as possible. The alignment of states comes from both local and global perspectives. We combine them into a reinforcement learning framework by a regularized policy update objective. We show the superiority of our method on standard imitation learning settings as well as the challenging settings in which the expert and the imitator have different dynamics models.

研究の動機と目的

• 模倣者とエキスパートのダイナミクスモデルに差異がある場合に、行動中心の手法に限界があるという模倣学習の課題に対処すること。
• 行動の模倣から状態シーケンスの整合性に焦点を移すことで、ダイナミクス不一致に起因するポリシーの一般化性能を向上させること。
• 局所的およびグローバルな状態整合性を統合した包括的な強化学習フレームワークを構築すること。
• 標準的模倣学習ベンチマークおよび挑戦的なダイナミクス不一致シナリオにおいて、強固な性能を示すこと。

提案手法

• エキスパートと模倣者の軌道間の状態対応について、局所的（ステップごと）およびグローバル的（シーケンスレベル）の両方の視点を考慮する状態整合メカニズムを導入する。
• 模倣者が行動だけでなく、エキスパートの状態シーケンスに従うよう促す正則化されたポリシー更新目的を定式化する。
• 状態軌道の逸脱をペナルティ化する損失関数を用いて、状態整合性を強化学習フレームワークに統合する。
• 状態整合性の質に基づく報酬設計と行動コーディングを組み合わせて、ポリシーを最適化する。
• 動的計画法またはシーケンスマッチング技術を用いて、エキスパートと模倣者の軌道間の最適な状態整合を計算する。
• ポリシー目的関数における正則化項を通じて、模倣の忠実性とポリシーの探索性のトレードオフを調整する。

実験結果

リサーチクエスチョン

• RQ1 エキスパートと模倣者のダイナミクスに差異がある場合、状態シーケンスの整合性が模倣学習の性能を向上させ得るか？
• RQ2 局所的およびグローバルな状態整合を組み合わせることで、模倣学習におけるポリシーの一般化性能がどのように向上するか？
• RQ3 状態整合性に基づく正則化されたポリシー更新は、ダイナミクス不一致環境において行動中心の模倣を上回る性能を示すか？
• RQ4 この手法は、標準的および挑戦的な模倣学習ベンチマークにおいて、どの程度一般化可能か？

主な発見

• 提案手法は、標準ベンチマーク環境においてベースラインの模倣学習手法よりも優れた性能を達成した。
• 模倣者とエキスパートのダイナミクスモデルに顕著な差異がある設定でも、本手法は顕著な改善を示した。
• 局所的およびグローバルな両視点による状態整合は、単一の行動模倣よりも安定的かつ正確なポリシー学習を実現した。
• 正則化されたポリシー更新目的関数は、模倣の正確性とポリシーの探索性のバランスを効果的に調整し、状態軌道の乖離を低減した。