[論文レビュー] Robust Imitation Learning from Noisy Demonstrations

Voot Tangkaratt, Nontawat Charoenphakdee+1 more|arXiv (Cornell University)|Oct 20, 2020

Machine Learning and Data Classification参考文献 37被引用数 6

ひとこと要約

本論文は、エキスパートがラベルを付与したデータや厳密なノイズ分布の仮定を必要とせずに、ノイズの多い示範から最先端の性能を達成するロバストな模倣学習手法RIL-Coを提案する。対称損失最小化に基づく理論的基盤と、非エキスパートデータの密度を推定するためのコ・プシードオラベルリングを活用することで、RIL-Coは連続制御ベンチマークにおいて、特に高いノイズ率下でも既存手法を上回る性能を発揮する。

ABSTRACT

Robust learning from noisy demonstrations is a practical but highly challenging problem in imitation learning. In this paper, we first theoretically show that robust imitation learning can be achieved by optimizing a classification risk with a symmetric loss. Based on this theoretical finding, we then propose a new imitation learning method that optimizes the classification risk by effectively combining pseudo-labeling with co-training. Unlike existing methods, our method does not require additional labels or strict assumptions about noise distributions. Experimental results on continuous-control benchmarks show that our method is more robust compared to state-of-the-art methods.

研究の動機と目的

• 現実世界の設定において、低品質でノイズの多い人間の示範から模倣学習を実現する課題に対処すること。
• 既存のロバストなIL手法が要求するエキスパートラベルやノイズ分布に関する強い仮定に依存しないようにすること。
• 理論的根拠に基づき、データ効率的で、高いノイズ率下でも性能を維持できる手法を開発すること。
• 対称損失最適化とコ・プシードオラベルリングを組み合わせることで、模倣学習のロバスト性と一般化性能を向上させること。

提案手法

• 本手法は、ロバストな模倣学習が、対称損失関数を用いた分類リスクの最小化によって達成可能であるという理論的証明に基づいている。
• コ・プシードオラベルリングを導入し、疑似ラベル付けとコ・トレーニングを組み合わせることで、過学習を避けて非エキスパート示範の密度を推定する。
• ノイズ分布の明示的モデリングを避けるために、ラベルノイズに対して不変な対称損失を用いる。
• 1つのネットワークが行動を予測し、もう1つのネットワークがコトレーニングを用いて非エキスパートデータの信頼性を推定する二重ネットワークアーキテクチャを採用する。
• ハイパーパrameter選定は理論的に導出されており、広範なチューニングの必要がない。
• ラベルノイズに対するロバスト性を高めるために、分類リスクを対称損失（例：絶対罰則損失）を用いて最適化する。

実験結果

リサーチクエスチョン

• RQ1 追加のエキスパートラベルやノイズ分布に関する強い仮定なしに、ロバストな模倳学習を達成できるか？
• RQ2 ラベルなしの状況下で、非エキスパート示範の密度を効果的に推定する方法は何か？
• RQ3 ノイズの多い示範下での模倣学習において、対称損失関数が果たす影響は何か？
• RQ4 コ・プシードオラベルリングは、単純な疑似ラベル付けと比較して、ロバスト性と一般化性能にどのように寄与するか？
• RQ5 ハイパーパrameterチューニングなしで、変動するノイズ率下でも本手法の性能を維持できるか？

主な発見

• RIL-Coは、VILD や ベイクションクラシフィケーションを含む複数の連続制御ベンチマークで、最先端の手法を上回る性能を発揮し、特に高いノイズ率（例：δ=0.4）下で顕著な優位性を示す。
• ノイズ率δ=0.4の条件下で、RIL-Coは競合手法よりも優れた最終的性能を達成し、遷移サンプルの使用数を顕著に削減する。これは、データ効率性を示している。
• アブレーションスタディの結果、対称絶対罰則（AP）損失とコ・プシードオラベルリングの組み合わせが最良の性能をもたらすことが確認され、両者の重要性が強調された。
• VILDの仮定が成り立つガウスノイズデータセットにおいて、RIL-Coは2000万サンプルを用いてVILDと同等の性能を達成したが、より穏やかなデータ仮定に依存している。
• 非エキスパート示範がノイズを追加せずにポリシーのスナップショットから生成された場合でも、RIL-Coは強力な性能を維持する。一方、VILDはガウス分布仮定の違反により失敗する。
• 軌道の可視化結果から、RIL-Coのポリシーはエキスパートの示範と密接に類似しており、成功したポリシーの模倣が達成されたことが確認された。