[論文レビュー] Generalization Guarantees for Imitation Learning

Allen Z. Ren, Sushant Veer+1 more|arXiv (Cornell University)|Aug 5, 2020

Human Pose and Action Recognition参考文献 39被引用数 6

ひとこと要約

本論文は、PAC-Bayes理論を活用して、新しい環境に展開されたポリシーの一般化保証を厳密に提供する2段階の模倣学習フレームワークを提案する。まず、専門家のデモを用いて条件付き変分オートエンコーダ（cVAE）でマルチモーダルな事前分布を学習し、次に新しい環境でPAC-Bayes境界を用いて微調整することで、シミュレーションおよび実機のビジョンベースの操作およびナビゲーションタスクにおいて、強力な経験的性能とタイトな一般化境界を達成した。

ABSTRACT

Control policies from imitation learning can often fail to generalize to novel environments due to imperfect demonstrations or the inability of imitation learning algorithms to accurately infer the expert's policies. In this paper, we present rigorous generalization guarantees for imitation learning by leveraging the Probably Approximately Correct (PAC)-Bayes framework to provide upper bounds on the expected cost of policies in novel environments. We propose a two-stage training method where a latent policy distribution is first embedded with multi-modal expert behavior using a conditional variational autoencoder, and then "fine-tuned" in new training environments to explicitly optimize the generalization bound. We demonstrate strong generalization bounds and their tightness relative to empirical performance in simulation for (i) grasping diverse mugs, (ii) planar pushing with visual feedback, and (iii) vision-based indoor navigation, as well as through hardware experiments for the two manipulation tasks.

研究の動機と目的

• 豊富なセンサ入力と複雑なダイナミクスを有するロボットシステムにおける模倣学習の一般化保証の欠如に対処すること。
• 未知の、これまでにない環境において、模倣ポリシーの強い期待性能を保証する手法を開発すること。
• PAC-Bayes理論を模倣学習に統合し、非自明で実行可能な一般化境界を提供すること。
• 操作およびビジョンベースのナビゲーションを含む多様なロボットタスクにおいて、本手法の有効性を示すこと。
• シミュレーションおよび実機のハードウェア実験を通じて、フレームワークの妥当性を検証すること。

提案手法

• 条件付き変分オートエンコーダ（cVAE）を用いて、マルチモーダルな専門家デモを潜在的事前ポリシー分布に埋め込むことで、多様な行動生成を可能にする。
• cVAEは、専門家の行動を符号化する潜在変数の事前分布を学習し、予測された行動と専門家の行動との間の交差エントロピーに基づく再構成損失を用いる。
• 2段階のトレーニングパイプラインを採用する：まずcVAEが専門家データ上で事前分布を学習し、次に新しいトレーニング環境のセットを用いて微調整を行う。
• 2段階目では、潜在変数の事後分布がPAC-Bayes一般化境界を最小化するように最適化され、新環境における期待性能の向上を明示的に目指す。
• 一般化境界はPAC-Bayス理論を用いて計算され、未知の環境におけるポリシーの期待コストの上界を提供する。
• 最終的なポリシーは、ポリシーの事後分布であり、この分布からのサンプリングごとに異なる行動が生成され、境界はその全体の分布に関連付けられる。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayes理論は、複雑なロボット環境における模倣学習ポリシーに対して、非自明な一般化境界を効果的に提供できるか？
• RQ2 cVAEによるマルチモーダル事前分布学習は、一般化境界最適化における微調整フェーズの収束性および性能をどのように向上させるか？
• RQ3 理論的一般化境界と、多様なタスクにおける未知環境での経験的性能の間には、どの程度の相関関係があるか？
• RQ4 提案フレームワークは、特にビジョンベースの操作タスクにおいて、実機ハードウェアへの展開でも強力な一般化を達成できるか？
• RQ5 トレーニング環境と新環境がともに同一の未知の分布から抽出されると仮定した場合、本フレームワークは分布シフトをどのように処理するか？

主な発見

• 500のトレーニング環境で微調整を経た事後ポリシーは、未知の屋内ナビゲーション環境で79.1%の成功率を達成した。これは、事前分布の65.4%の成功率を著しく上回った。
• 1000のトレーニング環境を用いた場合、事後ポリシーの推定成功率は79.9%に達し、強力な経験的一般化を示した。
• 事後分布のPAC-Bayes一般化境界は0.741（すなわち、1 - C_bound* = 0.741）であり、期待コストが境界で抑えられていると74.1%の信頼度があることを示した。
• 一般化境界はタイトであることが判明し、異なるトレーニングセットサイズにおいて、経験的成功率と密接に一致した。
• マルチモーダル事前分布は、単一モーダル事前分布と比較して収束を加速させ、最終的な性能を向上させた。これは、軌道の多様性と成功率の比較から明らかになった。
• Franka Pandaアームを用いた実機実験により、フレームワークのロバスト性および一般化能力が確認され、シミュレーション結果の妥当性が裏付けられた。