[論文レビュー] A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning

Stéphane Ross, Geoffrey J. Gordon+1 more|arXiv (Cornell University)|Nov 2, 2010

Advanced Bandit Algorithms Research被引用数 840

ひとこと要約

本稿では、反復的アルゴリズムDAGGERを提案する。DAGGERは、強化学習における模倣学習と構造予測を、レギュレータが最小限のレギュレータを伴うオンライン学習に還元することで、強い理論的保証のもとで定常的かつ決定論的な方策の学習を可能にする。現在の方策が誘導する状態上で反復的に専門家によるデモンストレーションを収集することで、DAGGERは時間経過に伴う誤差の線形増加を保証し、SMILe や SEARN よりも優れた安定性とサンプル効率を示し、ロボット工学およびOCRベンチマークで優れた性能を発揮する。

ABSTRACT

Sequential prediction problems such as imitation learning, where future observations depend on previous predictions (actions), violate the common i.i.d. assumptions made in statistical learning. This leads to poor performance in theory and often in practice. Some recent approaches provide stronger guarantees in this setting, but remain somewhat unsatisfactory as they train either non-stationary or stochastic policies and require a large number of iterations. In this paper, we propose a new iterative algorithm, which trains a stationary deterministic policy, that can be seen as a no regret algorithm in an online learning setting. We show that any such no regret algorithm, combined with additional reduction assumptions, must find a policy with good performance under the distribution of observations it induces in such sequential settings. We demonstrate that this new approach outperforms previous approaches on two challenging imitation learning problems and a benchmark sequence labeling problem.

研究の動機と目的

• 標準的なi.i.d.の教師あり学習が、方策に起因する状態分布の変化により失敗する模倣学習における分布シフト問題に対処すること。
• 誘導される状態分布下での性能に対して強い理論的保証を有する定常的かつ決定論的な方策を学習する方法を開発すること。
• 模倣学習と構造予測を、オンラインノーレギュレータ学習に還元することで、標準的な教師あり学習アルゴリズムの再利用を可能にすること。
• SMILe や SEARN といった従来の反復的アルゴリズムに比べ、安定性とサンプル効率を向上させること。これらの手法は確率的または非定常的方策を用いている。
• ロボット制御や筆跡認識を含む、挑戦的な実世界のタスクにおいて、本手法の有効性を実証すること。

提案手法

• 現在の方策が誘導する状態上で専門家デモンストレーションを収集する反復的アルゴリズムDAGGERを提案。収集されたデータは、教師あり学習のための増加するデータセットを形成する。
• 各イテレーションで蓄積されたデータセット上でレギュレータを最小化することで方策を改善する、ノーレギュレータオンライン学習フレームワークを用いる。
• Beygelzimerら（2005）の還元アプローチを用いて、模倣学習をノーレギュレータ学習問題に変換し、理論的性能境界を保証する。
• オンラインからバッチへの変換技術を適用し、サンプル複雑性を分析し、有限データのもとでの収束を保証する。
• 過去の方策と専門家データの重み付き組み合わせを用い、最近の関連データを優先するための減衰係数（例：βi = 0.5^{i-1}）を導入する。
• 決定論的ダイナミクスを持つ退化した模倣学習問題として扱うことで、順序付き予測を構造予測に適応する。

実験結果

リサーチクエスチョン

• RQ1 ノーレギュレータオンライン学習フレームワークを、方策に起因する分布下でも誤差の線形増加を保証する模倣学習に効果的に適用できるか？
• RQ2 分布シフト下の順序付き意思決定において、強い理論的保証のもとで定常的かつ決定論的な方策を学習できるか？
• RQ3 反復的模倣学習におけるデータ収集戦略が、方策の性能とサンプル効率に与える影響は何か？
• RQ4 DAGGERは、SMILe や SEARN といった従来の反復的手法と比較して、安定性、収束性、最終的性能の面で優れているか？
• RQ5 ノーレギュレータ学習への還元を、順序依存性を持つ構造予測タスクへ拡張できるか？

主な発見

• Super Mario Bros. タスクにおいて、DAGGERは教師ありベースラインを上回り、インジケータ関数を用いた2980点、教師ありアプローチを用いた2800点に対し、3030点を達成した。
• Super Tux Kartレーシングタスクでは、DAGGERはSMILe や SEARN を含むすべての手法を顕著に上回り、イテレーションを経るごとに明確な収束トレンドを示した。
• OCRベンチマークでは、DAGGERは85.5％の文字認識精度を達成し、教師ありベースライン（83.6％）を上回り、α=0.1のSEARN や SMILe よりも優れた性能を示した。
• タスクの時間枠Tと分類誤差ϵに関して、総コストJ(π)が線形に増加するという結果が得られ、ノーレギュレータ学習の理論的保証と一致した。
• DAGGERは安定性とサンプル効率が向上し、SMILe が用いる確率的混合物の不安定性や、教師あり学習の性能停滞を回避した。
• 減衰係数を用いた重み付け（βi = 0.5^{i-1}）は、初期イテレーションにおいて特に優れたデータの多様性と性能をもたらし、均等またはインジケータベースの重み付けよりも優れている。