[論文レビュー] Monte Carlo Tree Search with Sampled Information Relaxation Dual Bounds

Daniel Jiang, Lina Al‐Kanj+1 more|arXiv (Cornell University)|Apr 20, 2017

Reinforcement Learning in Robotics参考文献 29被引用数 5

ひとこと要約

本稿では、サンプルされた情報リラクゼーション双対上限を統合することで、部分的決定木を用いても最適方策への収束を可能にする、Primal-Dual MCTSと呼ばれる新しいモンテカルロ木探索（MCTS）アルゴリズムを提案する。双対上限を用いて木の展開を誘導することで、木が完全に展開されていなくても漸近的最適性が保証され、大規模な行動空間において著しく効率的になる。

ABSTRACT

Monte Carlo Tree Search (MCTS), most famously used in game-play artificial intelligence (e.g., the game of Go), is a well-known strategy for constructing approximate solutions to sequential decision problems. Its primary innovation is the use of a heuristic, known as a default policy, to obtain Monte Carlo estimates of downstream values for states in a decision tree. This information is used to iteratively expand the tree towards regions of states and actions that an optimal policy might visit. However, to guarantee convergence to the optimal action, MCTS requires the entire tree to be expanded asymptotically. In this paper, we propose a new technique called Primal-Dual MCTS that utilizes sampled information relaxation upper bounds on potential actions, creating the possibility of "ignoring" parts of the tree that stem from highly suboptimal choices. This allows us to prove that despite converging to a partial decision tree in the limit, the recommended action from Primal-Dual MCTS is optimal. The new approach shows significant promise when used to optimize the behavior of a single driver navigating a graph while operating on a ride-sharing platform. Numerical experiments on a real dataset of 7,000 trips in New Jersey suggest that Primal-Dual MCTS improves upon standard MCTS by producing deeper decision trees and exhibits a reduced sensitivity to the size of the action space.

研究の動機と目的

• 標準MCTSが大規模な行動空間に対して感受性を示す問題を解消すること。
• 完全な木の展開を必要とせずに最適方策への収束を達成するMCTSの変種を開発すること。
• 情報リラクゼーション双対上限を、木探索中に非最適行動を同定・ pruning するメカニズムとして統合すること。
• 部分的木の展開であっても、結果として得られる Primal-Dual MCTS アルゴリズムが漸近的最適性を達成することを証明すること。
• 実世界のライドシェアルーティング問題において、意思決定の質と木の深さの面で実証的な改善を示すこと。

提案手法

• 各行動の将来価値についての保守的推定を提供する、サンプルされた情報リラクゼーションを用いた双対上限推定を導入する。
• プライマル価値推定（デフォルト方策を介して）と双対上限を組み合わせて、ノード選択と pruning を誘導する、変更を加えた MCTS フレームワークを用いる。
• 価値と双対推定の両方に対して平均化更新ルールを採用し、標準的な確率的近似条件のもとで収束を保証する。
• 高いプライマル価値と低い双対上限を持つノードを優先するハイブリッド基準を用いて木の展開を誘導し、非最適行動の枝を効果的に無視する。
• 帰納法を用いた証明により、値と双対推定が極限においてそれぞれの最適値にほとんど確実に収束することを示す。
• バックプロパゲーション更新にはプライマルと双対推定の両方を用い、双対上限を候補行動の品質評価および劣悪な行動の pruning に活用する。

実験結果

リサーチクエスチョン

• RQ1 サンプルされた情報リラクゼーション双対上限は、MCTSにおける非最適行動の効果的 pruning を可能にし、全探索に依存する必要を減らすことができるか？
• RQ2 部分木が展開された場合でも、Primal-Dual MCTS は最適方策に収束するか？
• RQ3 双対上限の統合は、標準MCTSと比較して意思決定木の深さと構造にどのような影響を与えるか？
• RQ4 この手法は、逐次的意思決定問題における大規模な行動空間への感受性をどの程度低減するか？
• RQ5 双対上限は、ライドシェアルーティングのような実世界の応用において意思決定の質を向上させることができるか？

主な発見

• Primal-Dual MCTS は、木が完全に展開されていなくても漸近的最適性を達成する。双対上限のおかげで非最適行動が効果的に無視されるためである。
• 標準MCTSと比較して、はるかに深い意思決定木が生成される。これは、有望な経路の探索がより良好に行われていることを示している。
• 本手法は、標準MCTSの主な制限要因である行動空間のサイズに対する感受性が著しく低減されている。
• ニュージャージー州の7,000件の実データに基づく実験では、Primal-Dual MCTS は、解の質と木の深さの両面で標準MCTSを上回った。
• 理論的分析により、本アルゴリズムの更新ルールのもとで、プライマル価値推定と双対上限がともにほとんど確実に最適値に収束することが確認された。
• 収束の証明は、確率的近似理論と帰納法に依拠しており、双対上限が完全な木の展開なしに最適性を保証する上で中心的な役割を果たしている。