[論文レビュー] Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning

Dieqiao Feng, Carla P. Gomes+1 more|arXiv (Cornell University)|Jun 4, 2020

AI-based Problem Solving and Planning参考文献 19被引用数 6

ひとこと要約

本論文は、段階的な学習課題とモンテカルロ木探索（MCTS）を用いた価値関数による計画誘導を組み合わせることで、従来の組合せ的探索手法では到達不可能だった、難易度の高い未解決のソコバン計画インスタンスを、1日間の学習で効果的に解けるようにするカリキュラム駆動型の深層強化学習フレームワークを提示している。この手法は、200ステップを超える解を必要とするインスタンスにおいて、特殊化されたソルバーよりも優れた性能を示した。

ABSTRACT

Despite significant progress in general AI planning, certain domains remain out of reach of current AI planning systems. Sokoban is a PSPACE-complete planning task and represents one of the hardest domains for current AI planners. Even domain-specific specialized search methods fail quickly due to the exponential search complexity on hard instances. Our approach based on deep reinforcement learning augmented with a curriculum-driven method is the first one to solve hard instances within one day of training while other modern solvers cannot solve these instances within any reasonable time limit. In contrast to prior efforts, which use carefully handcrafted pruning techniques, our approach automatically uncovers domain structure. Our results reveal that deep RL provides a promising framework for solving previously unsolved AI planning problems, provided a proper training curriculum can be devised.

研究の動機と目的

• 現在の組合せ的探索手法では到達不可能な、難易度の高い未解決のAI計画インスタンスを解く挑戦に応えること。
• 計画用の単一エージェント深層強化学習において正の報酬信号が欠如している問題を、段階的に複雑化するサブ問題のカリキュラムを設計することで克服すること。
• 深層強化学習が手作業による枝刈り技術なしに、ドメインの構造を自動で発見できることを示すこと。
• 段階的学習と価値関数の蒸留を用いることで、ソコバンのようなPSPACE完全なドメインにおいて、効果的な一般化と計画を可能にすること。
• カリキュラム学習で訓練された深層ネットワークが、意味のある問題構造を捉え、MCTSを長大で複雑な解へ誘導できるかどうかを検討すること。

提案手法

• フレームワークは、元の難易度の高いソコバンインスタンスから導出された、段階的に複雑化するサブ問題のカリキュラムを使用する。最初は小さなボックス配置から始める。
• 各カリキュラムレベルにおいて、自己対戦とモンテカルロロールアウトを用いて、状態の価値（ゴールまでの距離）を予測するための深層Qネットワークを訓練する。
• 訓練された価値ネットワークを、次のより複雑なカリキュラムレベルの解決に向けたモンテカルロ木探索（MCTS）の誘導に使用する。
• MCTSのロールアウトから生成されたデータを用いてネットワークをファインチューニングすることで、未観測だが解けるボード状態への一般化を可能にする。
• 小さなサブ問題の解法が大きな問題の解法を効果的に支援するように、カリキュラムの進行を設計し、探索空間を縮小する。
• 小さな問題の訓練済みポリシーの重みを、大きな問題のネットワーク初期化に使用することで、レベル間での知識移転を実現する。

実験結果

リサーチクエスチョン

• RQ1 カリキュラム駆動型の深層強化学習は、既存の組合せ的探索手法では到達不可能な難易度の高いAI計画インスタンスを解けるか？
• RQ2 訓練中に正の報酬信号が得られない状況下で、深層強化学習エージェントはどのように長期間計画問題を学習することができるか？
• RQ3 カリキュラムのサブ問題で訓練された深層ニューラルネットワークが、元の完全な問題インスタンスを解くためにどれほど一般化できるか？
• RQ4 学習された価値関数は、ゴールまでの距離や行動の質といった、計画ドメインの意味のある構造的性質を捉えているか？
• RQ5 小さな問題から大きな問題への知識移転において、ネットワークが深刻な忘却を示すことはないか？

主な発見

• 提案されたカリキュラム駆動型の深層強化学習フレームワークは、16個のボックスと200ステップを超える必要手数を要する難易度の高いソコバンインスタンスを、成功裏に解いた。これは、従来の特殊化されたソルバーや、いかなる合理的な時間制限内でも解けなかった。
• 1日間の学習で解に到達した。これは、未解決だったインスタンスにおいて、既存の探索ベースのソルバーよりも顕著な性能向上を示している。
• 8ボックスのカリキュラムから学習した価値ネットワークは、初期状態に近い状態のゴールまでの距離を予測する能力が強く、問題構造を効果的に捉えていることを示している。
• ランダムに配置された8ボックスのサブケースへの一般化性能は弱く、ネットワークがMCTSロールアウト中に頻繁に訪問する状態に焦点を当てていた可能性を示唆している。
• 8ボックスから16ボックスへの移行において、ネットワークは深刻な忘却の兆候を示し、未観測状態におけるポリシーと価値予測の性能が低下した。
• それでも、小さなサブ問題からの知識のアンサンブルが、元の未解決の16ボックスインスタンスを解くのに成功した。これは、複雑な計画ドメインにおけるカリキュラム学習の強力な力を示している。