[論文レビュー] Error Bounds of Imitating Policies and Environments

Tian Xu, Ziniu Li+1 more|arXiv (Cornell University)|Jan 1, 2020

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

この論文は、行動コーディングと生成的対抗的模倣の両方における政策および環境の誤差バウンズを分析し、誤差の蓄積が強化学習のサンプル複雑性に与える影響を検討する。対抗的模倣は誤差の蓄積を軽減し、政策模倣におけるより優れたサンプル複雑性と、より効果的な環境モデル学習を実現する。これにより、モデルベース強化学習の向上が可能になる。

ABSTRACT

Imitation learning trains a policy by mimicking expert demonstrations. Various imitation methods were proposed and empirically evaluated, meanwhile, their theoretical understanding needs further studies. In this paper, we firstly analyze the value gap between the expert policy and imitated policies by two imitation methods, behavioral cloning and generative adversarial imitation. The results support that generative adversarial imitation can reduce the compounding errors compared to behavioral cloning, and thus has a better sample complexity. Noticed that by considering the environment transition model as a dual agent, imitation learning can also be used to learn the environment model. Therefore, based on the bounds of imitating policies, we further analyze the performance of imitating environments. The results show that environment models can be more effectively imitated by generative adversarial imitation than behavioral cloning, suggesting a novel application of adversarial imitation for model-based reinforcement learning. We hope these results could inspire future advances in imitation learning and model-based reinforcement learning.

研究の動機と目的

• 行動コーディングと生成的対抗的模倣の下で、専門家ポリシーと模倣されたポリシーの間の価値ギャップを理論的に分析すること。
• 誤差の蓄積が模倣学習におけるサンプル複雑性に与える影響を調査すること。
• 環境遷移を二重エージェントとして扱うことで、環境モデル学習への模倣学習の応用を検討すること。
• 行動コーディングと生成的対抗的模倣の両方が環境モデル学習に与える性能を比較すること。
• 対抗的模倣をモデルベース強化学習に用いるための理論的基盤を確立すること。

提案手法

• 行動コーディングと生成的対抗的模倣の下での模倣ポリシーに対する理論的誤差バウンズを導出する。
• 環境遷移を二重エージェントとしてモデル化することで、環境ダイナミクスの模倣学習を可能にする。
• ポリシー模倣における誤差の蓄積効果とそのサンプル複雑性への影響を分析する。
• 同じ理論フレームワークを用いて、環境モデル学習のパフォーマンスを評価する。
• 行動コーディングと生成的対抗的模倣によって学習された環境モデルの一般化性とロバスト性を比較する。
• 形式的なバウンズを用いて、対抗的模倣による誤差伝播とモデル精度の向上を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 行動コーディングと生成的対抗的模倣の間で、ポリシー模倣における誤差バウンズはどのように異なるか？
• RQ2 生成的対抗的模倣は、行動コーディングに比べてどれほど誤差の蓄積を軽減するか？
• RQ3 環境遷移を二重エージェントとして扱うことで、環境遷移モデルを効果的に学習できるか？
• RQ4 行動コーディングと生成的対抗的模倣の間で、環境モデル学習のパフォーマンスはどのように異なるか？
• RQ5 これらのバウンズは、サンプル複雑性およびモデルベース強化学習にどのような意味を持つのか？

主な発見

• 生成的対抗的模倣は、行動コーディングよりも誤差の蓄積をより効果的に軽減し、ポリシー模倣におけるより優れたサンプル複雑性を実現する。
• 理論的バウンズは、行動コーディングに比べて、対抗的模倣がポリシー性能におけるよりタイトな誤差バウンズを達成できることを示している。
• 環境遷移を模倣学習における二重エージェントとして扱うことで、環境モデルを効果的に学習できる。
• 生成的対抗的模倣は、誤差バウンズの改善により、行動コーディングよりも正確な環境モデルを生成する。
• 誤差伝播に対するロバスト性の観点から、対抗的模倣はモデルベース強化学習に適していると考えられる。
• 理論的フレームワークは、模倣ベースのアプローチにおけるポリシーおよび環境モデル学習の分析と改善の基盤を提供する。