[論文レビュー] TaSIL: Taylor Series Imitation Learning

Daniel Pfrommer, Thomas T. C. K. Zhang+2 more|arXiv (Cornell University)|May 30, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

TaSILは、学習済み方策とエキスパート方策の間の高次テイラー級数項の差異をペナルティ化することで、行動コーディングを強化する新しい模倣学習手法を導入する。段階的入力状態安定性を活用することで、テイラー近似の小さな誤差が小さな軌道ずれにしか影響しないことを保証し、n 個のエキスパートデモンストレーションに対して Õ(1/n) のスケーリングを示す一般化境界を達成する。MuJoCo環境において、ベースラインと比較して顕著な性能向上を示した。

ABSTRACT

We propose Taylor Series Imitation Learning (TaSIL), a simple augmentation to standard behavior cloning losses in the context of continuous control. TaSIL penalizes deviations in the higher-order Taylor series terms between the learned and expert policies. We show that experts satisfying a notion of $ extit{incremental input-to-state stability}$ are easy to learn, in the sense that a small TaSIL-augmented imitation loss over expert trajectories guarantees a small imitation loss over trajectories generated by the learned policy. We provide sample-complexity bounds for TaSIL that scale as $ ilde{\mathcal{O}}(1/n)$ in the realizable setting, for $n$ the number of expert demonstrations. Finally, we demonstrate experimentally the relationship between the robustness of the expert policy and the order of Taylor expansion required in TaSIL, and compare standard Behavior Cloning, DART, and DAgger with TaSIL-loss-augmented variants. In all cases, we show significant improvement over baselines across a variety of MuJoCo tasks.

研究の動機と目的

• エキスパートのロバストネスをテイラー級数項を通じて直接方策に組み込むことで、オフライン模倣学習における分布シフト問題に対処すること。
• 学習済み方策が生成する軌道における小さな模倣誤差が、エキスパート軌道上で小さなTaSIL拡張損失であることを保証する理論的保証を提供すること。
• 高次微分のアクセスが不可能なエキスパートに適用可能な、有限差分近似を考案すること。
• n 個のエキスパートデモンストレーションに対して、実現可能設定における一般化境界が Õ(1/n) のスケーリングを示すことを確立すること。
• よりロバストなエキスパートが低次のテイラー展開を必要とすることを理論的に検証し、標準的なBC、DART、DAggerと比較して性能向上を示すこと。

提案手法

• 標準的な行動コーディング損失に、エキスパート方策と学習済み方策のp次テイラー級数近似の差異に対するペナルティ項を追加することで、TaSILを拡張する。
• この手法は、エキスパート方策が段階的入力状態安定性（δ-ISS）を満たしているという仮定に依存しており、これは摂動からの回復を保証する。
• ヤコビアンやヘッセ行列への直接アクセスができない場合、有限差分近似を用いて高次微分を推定する。
• 損失関数には、零次、一次、二次のテイラー項に対する重み付き項が含まれており、性能最適化のためのハイパーパramータλ₀, λ₁, λ₂が調整される。
• 理論的分析により、TaSILの一般化をエキスパートデータ上の教師あり学習問題に還元し、有限サンプル境界を可能にする。
• 実験では、4500回の訓練イテレーション、Adam最適化手法、コサイン学習率スケジューリングを用い、MuJoCo環境でTaSIL拡張BC、DART、DAggerを比較する。

実験結果

リサーチクエスチョン

• RQ1 エキスパート軌道上で小さなTaSIL拡張模倣損失が、学習済み方策の軌道における小さな模倣誤差を保証するのはどのような条件下か？
• RQ2 TaSILにおけるテイラー展開の必要次数は、エキスパート方策のロバストネスとどのように関係するか？
• RQ3 オフライン模倣学習設定において、TaSILは標準的BC、DART、DAggerよりも優れた一般化を達成できるか？
• RQ4 実現可能設定におけるTaSILのサンプル複雑性は何か？また、それは Õ(1/n) にスケーリングするか？
• RQ5 実際の応用において、高次微分を推定するための有限差分近似はどの程度有効か？

主な発見

• 実現可能設定において、n 個のエキスパートデモンストレーションに対して、TaSILは一般化境界が Õ(1/n) のスケーリングを達成する。
• TaSILにおけるテイラー展開の必要次数はエキスパートのロバストネスと相関する：よりロバストなエキスパートは低次の展開を必要とする。
• MuJoCo環境において、TaSIL拡張行動コーディングは、標準的BC、DART、DAggerを上回り、BCが失敗するような困難なタスクでも顕著な性能向上を示す。
• 高次元の観測空間（例：Humanoid、Ant）では、複数の有限差分ベクトルを使用することで、TaSILの性能が顕著に向上する。
• 有限差分近似により、高次微分が直接アクセスできない状況でも、効果的なTaSIL訓練が可能になる。
• 実験結果は、TaSILが高次方策ダイナミクスを明示的に一致させることで、エキスパート方策からの軌道ずれを低減することを確認した。