[論文レビュー] State-only Imitation with Transition Dynamics Mismatch

Tanmay Gangwani, Jian Peng|arXiv (Cornell University)|Feb 27, 2020

Reinforcement Learning in Robotics参考文献 28被引用数 10

ひとこと要約

本稿では、遷移ダイナミクスの不一致下でも、状態のみの専門家トレーリングに限定して、イミテーター方策への効果的な方策転送を可能にする、間接的アシスト学習手法I2Lを提案する。I2Lは、アシスト学習の目的関数を2つの反復的サブ問題に分解する——AIRLによる方策アシストと、Wasserstein評価者による分布整合化——ことにより、GAIL-S や GAIfO といったベースライン手法に比べ優れた性能を達成する。特にダイナミクス不一致の状況下で顕著な優位性を示す。

ABSTRACT

Imitation Learning (IL) is a popular paradigm for training agents to achieve complicated goals by leveraging expert behavior, rather than dealing with the hardships of designing a correct reward function. With the environment modeled as a Markov Decision Process (MDP), most of the existing IL algorithms are contingent on the availability of expert demonstrations in the same MDP as the one in which a new imitator policy is to be learned. This is uncharacteristic of many real-life scenarios where discrepancies between the expert and the imitator MDPs are common, especially in the transition dynamics function. Furthermore, obtaining expert actions may be costly or infeasible, making the recent trend towards state-only IL (where expert demonstrations constitute only states or observations) ever so promising. Building on recent adversarial imitation approaches that are motivated by the idea of divergence minimization, we present a new state-only IL algorithm in this paper. It divides the overall optimization objective into two subproblems by introducing an indirection step and solves the subproblems iteratively. We show that our algorithm is particularly effective when there is a transition dynamics mismatch between the expert and imitator MDPs, while the baseline IL methods suffer from performance degradation. To analyze this, we construct several interesting MDPs by modifying the configuration parameters for the MuJoCo locomotion tasks from OpenAI Gym.

研究の動機と目的

• 専門家のトレーリングを収集した環境のダイナミクスとイミテーターの環境ダイナミクスが異なる状況下でのアシスト学習の課題に対処すること。
• 専門家の行動に依存し、専門家とイミテーターのMDPが同一のダイナミクスを仮定する直接的アシスト学習手法の限界を克服すること。
• 実世界のシナリオ（キネステティックティーチングやビデオベースの監視など）においてより容易に入手可能な、状態のみの専門家トレーリングを用いた有効なアシスト学習を可能にすること。
• 最適化プロセスに中間分布を導入する間接的ステップを設けることで、ダイナミクス不一致に対してロバストな手法を開発すること。
• 実際の不一致ダイナミクス（例：重力や摩擦の変更）下でも、連続的制御タスクにおけるサンプル効率と性能を向上させること。

提案手法

• 最大エントロピー逆強化学習の目的関数を下界の導出により2つのサブ問題に分解する、間接的アシストフレームワーク（I2L）を提案する。
• トレーリングバッファを用いて中間の状態-行動訪問分布 $\tilde{\rho}$ を表現し、トレーニング中に反復的に更新する。
• AIRLを用いて、イミテーター方策が $\tilde{\rho}$ を再現するように学習させ、方策とバッファの状態-行動訪問分布の乖離を最小化する。
• Wasserstein評価者を用いて、バッファ（$\tilde{\rho}$）と専門家（$\rho^*$）の状態訪問分布間のWasserstein距離を同時に最小化する。
• 両方のコンポonentを反復的に最適化する——方策アシストとバッファ-専門家分布整合化——これにより、ダイナミクス不一致に強い適応が可能になる。
• 容量が固定された優先度キュー型バッファを用い、トレーリングの保存と更新を行う。バッファサイズに対するアブレーションスタディにより、バッファサイズに依存しないロバスト性が示された。

実験結果

リサーチクエスチョン

• RQ1 イミテーターの環境ダイナミクスが専門家とは著しく異なる状況下でも、状態のみのアシスト学習が有効に機能するか？
• RQ2 中間分布を間接ステップとして導入することで、直接的アシスト学習手法と比較してダイナミクス不一致に対するロバスト性が向上するか？
• RQ3 GAIL-S や GAIfO といった最先端の状態のみのILベースラインと比較して、I2Lはダイナミクス不一致下でどのように性能を発揮するか？
• RQ4 バッファ容量がI2Lフレームワークの性能と安定性に与える影響は何か？
• RQ5 下界近似とWasserstein距離メトリックが、アルゴリズムの収束性と性能に果たす貢献度はどの程度か？

主な発見

• ダイナミクス不一致下では、I2LはGAIL-S や GAIfO よりも顕著に高い最終性能を達成する（例：低重力のHalf-Cheetahでは3975 vs. 923、高摩擦Hopperでは2084 vs. 810）。
• ダイナミクス不一致がない状況下でも、I2Lは優れた性能を維持する（例：Half-Cheetahでは5240）。専門家の行動を必要としないにもかかわらず、GAIL や AIRL と同等またはそれ以上の性能を示す。
• I2Lはバッファ容量に対してロバストであり、低容量（例：1トレーリング）でも性能が安定し、高容量（50トレーリング）でも顕著な性能低下がない。
• 最大エントロピーIRL目的関数の下界近似のギャップはトレーニングに伴い減少し、最適化の忠実度が向上していることが示された。
• バッファと専門家の状態訪問分布間の実測Wasserstein距離は時間経過とともに減少し、効果的な分布整合化が達成されていることが確認された。
• 専門家の行動が利用可能であっても、ダイナミクスが不一致の状況下ではGAIL や AIRL はI2Lに劣る。これは、ダイナミクスが異なると専門家の行動が最適でないことが示唆される。