[論文レビュー] Learning to Search via Retrospective Imitation

Jialin Song, Ravi Lanka+4 more|arXiv (Cornell University)|Apr 3, 2018

Artificial Intelligence in Games参考文献 29被引用数 17

ひとこと要約

本稿では、組合せ探索空間におけるバックトラック後に、自己生成された探索トレースを後向きに精査することで、強化学習を用いずにポリシーを改善する「後向き模倣学習」を提案する。この手法は、繰り返し専門家への照会を必要とせず、Gurobi や模倣学習のベースライン、および商用ソルバーよりも優れた性能と一般化能力を達成する。

ABSTRACT

We study the problem of learning a good search policy for combinatorial search spaces. We propose retrospective imitation learning, which, after initial training by an expert, improves itself by learning from extit{retrospective inspections} of its own roll-outs. That is, when the policy eventually reaches a feasible solution in a combinatorial search tree after making mistakes and backtracks, it retrospectively constructs an improved search trace to the solution by removing backtracks, which is then used to further train the policy. A key feature of our approach is that it can iteratively scale up, or transfer, to larger problem sizes than those solved by the initial expert demonstrations, thus dramatically expanding its applicability beyond that of conventional imitation learning. We showcase the effectiveness of our approach on a range of tasks, including synthetic maze solving and combinatorial problems expressed as integer programs.

研究の動機と目的

• 報酬信号が疎で、専門家のデモを取得することが高コストとなる組合せ探索空間において、効果的な探索ポリシーを学習する課題に対処すること。
• 繰り返し専門家への照会を避けるために、自己生成されたロールアウトと環境からのフィードバックのみを用いて探索ポリシーを改善する手法を開発すること。
• 元の専門家デモに含まれる問題インスタンスよりも大きな問題インスタンスへのポリシーのスケーリングを可能にすること。
• 特定の条件下で、標準的な模倣学習に比べて後向き模倣学習が優れていることを理論的に裏付けること。
• A*探索、整数計画問題の分枝限定法、および最小頂点被覆問題において、本手法の性能と一般化能力を実験的に検証すること。

提案手法

• 本手法は、自己生成されたロールアウトを分析し、解への最短の妥当パス（バックトラックや誤った意思決定を除去）を抽出する後向きオラクルを用いる。
• DAgger アルゴリズムの変種を適用し、繰り返し、後向きに構築された最適なトレースを用いてポリシーを段階的に改善する。
• 探索プロセスを逐次意思決定問題として扱い、精錬されたトレース上で模倣学習によりポリシーを訓練する。
• エージェント自身のロールアウトから合成された専門家デモを生成することで、元のデモよりも大きな問題インスタンスで学習を可能にする、転移学習を可能にする。
• 検索の負荷を制御し、商用ソルバーや他の手法と公平に比較するため、選択的サンプリング戦略（「選択のみ」）を導入する。
• 理論的分析により、特定の仮定の下で、後向き模倣学習が標準的な模倣学習よりも低いポリシー誤差率を達成することを示した。

実験結果

リサーチクエスチョン

• RQ1 繰り返し専門家への照会を必要とせず、自らのロールアウトと環境からのフィードバックのみを用いて、探索ポリシーを改善できるか？
• RQ2 後向き模倣学習は、元の専門家デモに含まれるインスタンスよりも大きな問題インスタンスに一般化できるか？
• RQ3 後向き模倣学習は、標準的な模倣学習に比べて、低いポリシー誤差率とより速い収束を達成するか？
• RQ4 大規模な整数計画問題において、後向き模倣学習は Gurobi や SCIP などの市販ソルバーよりも優れた性能を示すか？
• RQ5 どのような条件下で、後向き模倣学習は従来の模倣学習を理論的に優越するか？

主な発見

• 迷路タスクにおいて、12のウェイポイントを超えるテストインスタンスでは、後向き模倣学習が60％を解決したが、SMILe は13ウェイポイントを超えるインスタンスの75％で失敗した。これは、強力な外挿能力を示している。
• 14ウェイポイント（560個のバイナリ変数）のリスクアウェアパスプランニングにおいて、後向き DAgger は Gurobi よりも最適性ギャップを50％低く達成した。
• 最小頂点被覆問題において、後向き模倣学習は従来の模倣学習および商用ソルバーよりも一貫して優れており、最大のグラフスケールでは40％の性能差を示した。
• すべての問題スケールで探索ノード数が最少であったため、収束が速く、探索がより効率的であることが示された。
• 理論的分析により、後向き模倣学習が標準的な模倣学習よりも低い誤差率を達成することが確認され、これは短い探索時間と相関していた。
• 実験的結果により、低い誤差率が探索負荷の削減に繋がることを裏付けた。迷路実験では、最小限のノード探索が確認された。