[論文レビュー] Convergence of Value Aggregation for Imitation Learning

Ching-An Cheng, Byron Boots|arXiv (Cornell University)|Jan 22, 2018

Reinforcement Learning in Robotics参考文献 18被引用数 8

ひとこと要約

この論文は、模倣学習における価値集約が常に性能が向上する収束する方策系列を生じるとする一般的な仮定に挑戦する。収束を決定づける重要な安定性定数θを特定し、最後の方策の性能に対するきつい非漸近的バウンドを提示する。θ < 1のとき収束が発生することを示し、正則化によって最後の方策が安定化され、追加のモデル選択なしに安全に使用可能になることが明らかになる。

ABSTRACT

Value aggregation is a general framework for solving imitation learning problems. Based on the idea of data aggregation, it generates a policy sequence by iteratively interleaving policy optimization and evaluation in an online learning setting. While the existence of a good policy in the policy sequence can be guaranteed non-asymptotically, little is known about the convergence of the sequence or the performance of the last policy. In this paper, we debunk the common belief that value aggregation always produces a convergent policy sequence with improving performance. Moreover, we identify a critical stability condition for convergence and provide a tight non-asymptotic bound on the performance of the last policy. These new theoretical insights let us stabilize problems with regularization, which removes the inconvenient process of identifying the best policy in the policy sequence in stochastic problems.

研究の動機と目的

• 価値集約による模倣学習で生成される方策系列の収束行動を調査すること。
• 系列の最後の方策が収束し、良好に動作する構造的条件を特定すること。
• 決定論的および確率的設定の両方における最終方策の非漸近的性能バウンドを提供すること。
• 系列全体から最良の方策を選択する必要がないように、最後の方策を安定化する正則化技術を開発すること。
• 深層ニューラルネットワークを用いた非凸設定におけるAggreVaTeの実験的成功を説明すること。

提案手法

• コスト関数の勾配のリプシッツ連続性に基づき、方策系列の収束を決定づける安定性定数θを導入する。
• 安定性定数θを用いて、最後の方策πNの性能に関するきつい非漸近的バウンドを導出する。
• 強い凸性を持つ項R(x)による正則化を提案し、有効安定性定数˜θを1未満に低下させ、最後の方策の収束を保証する。
• 混合方策（例：πnとπ∗の組み合わせ）の使用を分析し、混合率qを制御することで問題を安定化する。
• 収束と一般化の向上を保証するように、修正されたラウンドごとのコスト関数ˆFと˜Fを用いたAggreVaTeアルゴリズムを適用する。
• 勾配の摂動解析を用いて、深層ニューラルネットワーク方策を用いた非凸設定におけるロバストネスを説明する。

実験結果

リサーチクエスチョン

• RQ1 価値集約によって生成される方策系列は、どのような条件下で収束するか？
• RQ2 理論的不確実性にもかかわらず、実際には系列の最後の方策がしばしば良好に動作するのはなぜか？
• RQ3 確率的模倣学習問題における最後の方策の非漸近的性能バウンドを提供できるか？
• RQ4 正則化はどのようにして最後の方策を安定化させ、系列全体から最良の方策を選択する必要を排除できるか？
• RQ5 問題のどのような構造的性質が価値集約プロセスの収束を決定づけるか？

主な発見

• 価値集約における方策系列の収束は、安定性定数θに強く依存する。収束はθ < 1のときのみ保証される。
• 最後の方策πNの性能に関するきつい非漸近的バウンドが導出され、θ < 1のときJ(πN) ≤ J(π∗) + ˜O(1/N)が成り立つ。
• θ > 1の場合、方策系列は発散する可能性があり、最後の方策が常に最良であるという一般的なヒューリスティックとは矛盾する。
• 強い凸性を持つ項R(x)による正則化により、有効安定性定数˜θが1未満に低下し、最後の方策の収束が保証される。
• 正則化による性能損失は、誤差項˜ǫΠ,π∗に乗法的係数(1 + λ)をかける形で有界であり、より大きな方策クラスを用いることで最小化可能である。
• 勾配の摂動に基づく理論的分析により、深層ニューラルネットワーク方策を用いた非凸問題におけるAggreVaTeの実験的成功が説明できる。