[論文レビュー] No-Regret Reductions for Imitation Learning and Structured Prediction

Stéphane Ross, Geoffrey J. Gordon+1 more|arXiv (Cornell University)|Nov 2, 2010

Reinforcement Learning in Robotics参考文献 14被引用数 101

ひとこと要約

この論文は、反復的アルゴリズムを用いた新しいイミタショントレーニングおよび構造予測の手法を提案する。この手法は、ノーレグレットオンライン学習の原則に従い、定常的で決定論的な方策を学習する。還元仮定を活用することで、誘導された観測分布下でも優れた性能を発揮し、イミタショントレーニングおよび系列ラベル付けベンチマークで先行手法を上回る性能を示す。

ABSTRACT

Sequential prediction problems such as imitation learning, where future observations depend on previous predictions (actions), violate the common i.i.d. assumptions made in statistical learning. This leads to poor performance in theory and often in practice. Some recent approaches (Daumé III et al., 2009; Ross and Bagnell, 2010) provide stronger guarantees in this setting, but remain somewhat unsatisfactory as they train either non-stationary or stochastic policies and require a large number of iterations. In this paper, we propose a new iterative algorithm, which trains a stationary deterministic policy, that can be seen as a no regret algorithm in an online learning setting. We show that any such no regret algorithm, combined with additional reduction assumptions, must find a policy with good performance under the distribution of observations it induces in such sequential settings. We demonstrate that this new approach outperforms previous approaches on two challenging imitation learning problems and a benchmark sequence labeling problem. 1

研究の動機と目的

• 将来の観測が過去の行動に依存するような、イミタショントレーニングのような系列予測タスクにおいて、i.i.d.仮定の限界を解消すること。
• 非定常的または確率的方策を学習する従来の手法の欠点を克服し、多くの反復を必要としないこと。
• 方策自身が誘導する観測分布下でも良好な性能を保証する手法を開発すること。
• 構造的出力を持つ系列意思決定設定におけるノーレグレット学習の有効性を理論的に裏付けること。

提案手法

• 方策の更新を繰り返し行い、レグレットを最小化することによって、系列予測問題をオンライン学習設定に定式化する。
• ノーレグレット学習アルゴリズムを用いて、不安定な確率的または非定常的方策を避ける、定常的で決定論的な方策を学習する。
• オンライン学習設定における性能と、方策が誘導する観測分布下での性能を結びつける還元仮定を導入する。
• オンライン学習フレームワークにマッピングすることで、アルゴリズムをイミタショントレーニングおよび構造予測タスクに適用する。
• 低レグレットの方向に収束する方策を学習することで、実際の運用時に遭遇するデータ分布下での強力な一般化性能を保証する。
• 系列タスクの構造を活用し、環境からのフィードバックを用いて、問題を一連の教師あり学習問題に還元する。

実験結果

リサーチクエスチョン

• RQ1 方策に起因する依存性によってデータ分布が変化する系列予測問題において、ノーレグレット学習アルゴリズムを効果的に適応できるか。
• RQ2 オンライン学習によって定常的で決定論的な方策を学習することで、非定常的または確率的代替手法よりも優れた性能が得られるか。
• RQ3 還元仮定が、系列タスクにおける実際の観測分布下での一般化性能の保証にどの程度寄与できるか。
• RQ4 サンプル効率および構造予測ベンチマークにおける最終的性能の観点から、提案手法は既存手法と比較してどのように異なるか。

主な発見

• 提案アルゴリズムは、2つの挑戦的なイミタショントレーニングタスクにおいて、先行手法を上回る優れた性能を達成した。
• 標準的なベンチマーク系列ラベル付け問題においても、既存手法を上回り、構造予測における有効性を実証した。
• 理論的分析により、還元仮定の下では、任意のノーレグレットアルゴリズムが、誘導された観測分布下で良好な性能を持つ方策を見つける必要があることが示された。
• アルゴリズムは定常的で決定論的な方策を学習するため、非定常的または確率的方策学習の不安定さや非効率性を回避した。
• 高い性能を維持しながらも、先行手法よりも反復回数を減らしており、サンプル効率の向上を示している。
• 実験結果により、還元仮定が運用時に遭遇する実際のデータ分布下での良好な一般化を保証するために十分であることが確認された。