[論文レビュー] On the Global Convergence of Imitation Learning: A Case for Linear Quadratic Regulator

Qi Cai, Mingyi Hong+2 more|arXiv (Cornell University)|Jan 11, 2019

Model Reduction and Neural Networks参考文献 47被引用数 15

ひとこと要約

本稿は、線形二次調節器（LQR）における生成的対抗的模倣学習（GAIL）のグローバル収束を、交互勾配降下法を用いて確立し、一意のサドル点へのQ線形収束率を証明した。このサドル点は、グローバルに最適な方策および報酬関数を回復する。主な貢献は、新たなポテンシャル関数と自己強化型安定化メカニズムであり、明示的な正則化なしに中間動的システムの安定性を保証する。

ABSTRACT

We study the global convergence of generative adversarial imitation learning for linear quadratic regulators, which is posed as minimax optimization. To address the challenges arising from non-convex-concave geometry, we analyze the alternating gradient algorithm and establish its Q-linear rate of convergence to a unique saddle point, which simultaneously recovers the globally optimal policy and reward function. We hope our results may serve as a small step towards understanding and taming the instability in imitation learning as well as in more general non-convex-concave alternating minimax optimization that arises from reinforcement learning and generative adversarial learning.

研究の動機と目的

• 模倣学習における不安定性、特に非凸・非凹最小最大化最適化と不安定な中間方策に起因するGAILの不安定性を解消すること。
• 一般強化学習とGANに類似した訓練のコアな課題を捉える基本的LQR設定下で、GAILにおける交互勾配降下法の収束挙動を理論的に分析すること。
• 凸・凹の幾何的性質の欠如と、不適切な中間報酬関数に起因する不安定性を克服し、グローバル収束と保証可能な収束速度を確立すること。
• 解の経路に内在する自己強化型安定化メカニズムを特定・形式化し、明示的な正則化なしに動的システムの安定性を暗黙的に維持できることを示すこと。
• 最近の強化学習におけるLQRベースの分析を模倣学習へと拡張し、より複雑な非凸・非凹最小最大化問題の理論的基盤を提供すること。

提案手法

• LQR設定におけるGAILのための交互勾配降下法アルゴリズムを提案し、方策と報酬関数を反復的に更新する。
• 非凸・非凹最小最大化最適化と交互更新に特化した、新たなポテンシャル関数を導入し、方策および報酬勾配を統合する。
• 自己強化型安定化メカニズムを確立：解の経路が安定性の閾値に近づくにつれて、その近づき方が徐々に遅くなり、暗黙のバリアを形成する。
• Fazelら（2018）の幾何学的補題を用いて、コスト関数の挙動および方策勾配とヘッセに類似た項の構造を分析する。
• コーシー＝シュワルツ不等式および滑らかさの不等式を用いて、反復間での方策および勾配項の変化をバインドする。
• 状態共分散行列の正定値性および価値関数と方策勾配の滑らかさに依存し、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸・非凹の幾何的性質と不安定な中間方策が存在するにもかかわらず、LQR設定におけるGAILのグローバル収束を確立できるか？
• RQ2 GAILのための交互勾配降下法はグローバルに収束するか？ その収束速度は何か？
• RQ3 明示的な正則化なしに、中間動的システムの不安定性を暗黙的に制御できるか？
• RQ4 非凸・非凹最小最大化問題において、交互更新下で減少を保証するポテンシャル関数が存在するか？
• RQ5 最小最大化問題の一意のサドル点が、グローバルに最適な方策および報酬関数を回復できることを示せるか？

主な発見

• 交互勾配降下法は、最小最大化問題の一意のサドル点へのグローバルQ線形収束率を達成する。
• サドル点は同時にグローバルに最適な方策と真の報酬関数を回復し、エキスパートの完全な模倣を保証する。
• 明示的な正則化なしに、解の経路に沿ったすべての中間動的システムが、自己強化型安定化メカニズムのおかげで安定を保つ。
• 適切なステップサイズ設定のもとで収束が保証され、解の経路が安定性閾値に減速して近づく。
• 解析により、勾配更新とシステム安定性の相互作用のおかげでポテンシャル関数が時間とともに減少することが判明し、幾何学的および滑らかさの仮定によって裏付けられた。
• 理論的枠組みは、最近の強化学習におけるLQRベースの結果を模倣学習へと拡張し、より複雑な非凸・非凹設定の分析の基盤を提供する。