[論文レビュー] Divide-and-Conquer Monte Carlo Tree Search For Goal-Directed Planning

Giambattista Parascandolo, Lars Buesing+7 more|arXiv (Cornell University)|Apr 23, 2020

Reinforcement Learning in Robotics参考文献 35被引用数 9

ひとこと要約

本稿では、学習された部分目標提案を用いてタスクを再帰的に部分目標に分割することで、目的志向強化学習の性能を向上させる階層的計画手法である分割統治モンテカルロ木探索（DC-MCTS）を提案する。順次的計画とは異なり、DC-MCTSは非順次的計画構築を可能にし、長時間スケールのナビゲーションタスクにおける信用配分と性能を顕著に改善する。グリッドワールドおよびMuJoCo連続制御環境において、最先端の結果を達成した。

ABSTRACT

Standard planners for sequential decision making (including Monte Carlo planning, tree search, dynamic programming, etc.) are constrained by an implicit sequential planning assumption: The order in which a plan is constructed is the same in which it is executed. We consider alternatives to this assumption for the class of goal-directed Reinforcement Learning (RL) problems. Instead of an environment transition model, we assume an imperfect, goal-directed policy. This low-level policy can be improved by a plan, consisting of an appropriate sequence of sub-goals that guide it from the start to the goal state. We propose a planning algorithm, Divide-and-Conquer Monte Carlo Tree Search (DC-MCTS), for approximating the optimal plan by means of proposing intermediate sub-goals which hierarchically partition the initial tasks into simpler ones that are then solved independently and recursively. The algorithm critically makes use of a learned sub-goal proposal for finding appropriate partitions trees of new tasks based on prior experience. Different strategies for learning sub-goal proposals give rise to different planning strategies that strictly generalize sequential planning. We show that this algorithmic flexibility over planning order leads to improved results in navigation tasks in grid-worlds as well as in challenging continuous control environments.

研究の動機と目的

• 長時間スケールの目的志向強化学習における順次的計画の限界、特に信用配分の悪さと正確な長時間スケール遷移モデルへの依存を解消すること。
• 部分目標を独立して評価することで、順次的計画器における信用配分の課題を克服し、非順次的順序で計画を実行することを可能にすること。
• 複雑な部分タスクに計算リソースを動的に割り当てられ、部分目標の階層によって時間抽象化をサポートする計画アルゴリズムを開発すること。
• 実行順序とは異なる柔軟な計画順序が、複雑なナビゲーション環境におけるサンプル効率と性能を向上させることを示すこと。
• 学習された部分目標提案を用いた階層的計画が、離散的および連続的制御設定の両方で標準MCTSを凌駕する一般化能力を有することを示すこと。

提案手法

• DC-MCTSは、タスクを2つの独立した、同等の複雑さを持つ部分問題に階層的に分割する中間部分目標の探索として計画を定式化する。
• アルゴリズムは、過去の経験と探索結果に基づいて、有望な部分目標をガイドする学習済み部分目標提案ネットワークを用いる。
• 各部分タスクに対して同じ計画プロセスを再帰的に適用することで、分割統治戦略を実現し、各部分問題の有効なホライズンを短縮する。
• モンテカルロ木探索（MCTS）を用い、最終的な計画が単一の鎖ではなく部分木として表現されるように変更された木構造を採用することで、並列的かつ再利用可能な計算を可能にする。
• 各部分目標が問題を2つの短いホライズンタスクに分割するため、部分目標を独立して評価することで信用配分が向上する。
• オープンループおよびクローズドループ実行を両方サポートする：低レベルポリシーが局所的失敗に対処し、高レベル計画器は高価な完全なクローズドループ計画を回避する。

実験結果

リサーチクエスチョン

• RQ1 非順次的計画戦略は、長時間スケールの目的志向強化学習における信用配分を改善できるか？
• RQ2 部分目標にタスクを階層的に分解することは、順次的1アクションずつの計画と比較して、より効率的かつスケーラブルな計画を可能にするか？
• RQ3 学習された部分目標提案メカニズムは、複雑な環境における最適なタスク分解の探索を効果的にガイドできるか？
• RQ4 DC-MCTSは、離散的および連続的制御ナビゲーションタスクにおいて、標準MCTSと比較してサンプル効率と成功確率の点で優れているか？
• RQ5 計画順序の柔軟性（実行順序とは異なる）は、長ホライズンまたはスパarselyリワードな環境において、性能向上にどの程度寄与するか？

主な発見

• DC-MCTSは、グリッドワールドおよびMuJoCoナビゲーションタスクにおいて、標準MCTSを上回り、同じ計画予算下で顕著に高い成功確率を達成した。
• 壁密度が高いMuJoCo環境（d=1.0）では、DC-MCTSがMCTSを上回る性能を示した。MCTSは、偏った探索事前知識の影響を受けて「ミクロマネジメント」に陥っていた。
• MCTSにおける左から順に部分目標を選択するパースィング戦略は、不適切に細かすぎる部分目標提案を生じさせたが、DC-MCTSは再帰的分割によって自然に適切な部分目標のスケールを同定した。
• 探索木の可視化結果から、DC-MCTSは部分木として計画を構築し、並列探索とキャッシュ済み部分問題価値の再利用を可能にした。これに対してMCTSは線形チェーン構造をとる。
• DC-MCTSは、複雑な部分タスクに計画リソースを動的に割り当てることで、全体の計画複雑性を低減し、計算効率を向上させた。
• DC-MCTSは、前方計画および後方計画の両方を特殊ケースとして包含するため、それらよりも厳密に一般化されたものである。