[論文レビュー] Policy Gradient Search: Online Planning and Expert Iteration without Search Trees

Thomas Anthony, Robert Nishihara+3 more|arXiv (Cornell University)|Apr 7, 2019

Artificial Intelligence in Games参考文献 30被引用数 18

ひとこと要約

本稿では、探索木を必要とせず、探索中にニューラルネットワークのシミュレーション方策を方策勾配更新によって適応的に更新するオンライン計画アルゴリズムであるポリシー勾配探索（PGS）を紹介する。PGSは9×9および13×13のヘックスにおいてモンテカルロ木探索（MCTS）と同等の性能を達成し、エキスパート反復（Expert Iteration）と組み合わせることで、探索木や事前Hex知識を一切使用せずにMoHex 2.0に勝利する最初のタブララサエージェントを実現した。

ABSTRACT

Monte Carlo Tree Search (MCTS) algorithms perform simulation-based search to improve policies online. During search, the simulation policy is adapted to explore the most promising lines of play. MCTS has been used by state-of-the-art programs for many problems, however a disadvantage to MCTS is that it estimates the values of states with Monte Carlo averages, stored in a search tree; this does not scale to games with very high branching factors. We propose an alternative simulation-based search method, Policy Gradient Search (PGS), which adapts a neural network simulation policy online via policy gradient updates, avoiding the need for a search tree. In Hex, PGS achieves comparable performance to MCTS, and an agent trained using Expert Iteration with PGS was able defeat MoHex 2.0, the strongest open-source Hex agent, in 9x9 Hex.

研究の動機と目的

• モンテカルロ木探索（MCTS）が高分岐要因環境（例えば、大きなまたは連続的な行動空間を有するゲーム）において直面するスケーラビリティの制限を克服すること。
• 探索木や表形式の価値関数に依存せずに、オンラインでシミュレーション方策を適応的に更新する探索アルゴリズムの開発。
• MCTSがメモリ的・計算的制約により実行不可能な環境において、効果的なオンライン計画および学習を可能にすること。
• 方策勾配に基づく探索がMCTSと同等の性能を達成でき、ヘックスのようなゲームにおいて、ドメイン固有の知識や探索木を一切使用せずに強力なエージェントを実現できるかの検証。

提案手法

• PGSは、各探索反復において方策勾配強化学習を用いてオンラインで更新されるニューラルネットワークをシミュレーション方策として使用する。
• MCTSとは異なり、PGSは探索木に訪問回数や価値推定値を保持せず、状態価値の表形式保存を不要にする。
• シミュレーション方策は、現在の探索からのサンプル軌道を用いたREINFORCEスタイルの更新により、期待報酬の勾配上昇によって改善される。
• PGSはエキスパート反復（ExIt）フレームワークに統合され、自己対戦ゲームにより適応的PGS方策を用いたロールアウトが生成され、その結果得られた方策がグローバル方策ネットワークに蒸留される。
• 関数近似を活用することで、探索中に状態が一度しか訪問されない場合でも、一般化を図り、効果的な学習を可能にする。
• PGSはテスト時計画および学習の両状況で評価され、9×9および13×13ヘックスにおいてMCTSおよびモンテカルロ探索（MCS）と比較された。

実験結果

リサーチクエスチョン

• RQ1 高分岐要因ゲーム（例えばヘックス）において、探索木を一切使用せず、MCTSと同等の性能を達成できる方策勾配ベースの探索アルゴリズムは実現可能か？
• RQ2 PGSは、メモリ的・計算的制約によりMCTSが実行不可能な環境において、強力なオンライン計画を可能にするか？
• RQ3 PGSをエキスパート反復（ExIt）と組み合わせることで、探索木や事前ゲーム知識を一切使用せず、MoHex 2.0のような強力なベースラインに勝利できるエージェントを実現できるか？
• RQ4 固定シミュレーション方策を用いるモンテカルロ探索（MCS）と比較して、PGSは計画強度およびサンプル効率の点でどのように差をつけるか？

主な発見

• PGSは9×9および13×13ヘックスの両方においてMCTSと同等の性能を達成し、テスト時計画においてモンテカルロ探索（MCS）を著しく上回った。
• PGS-ExItは、9×9ヘックスにおいて、先手手ごとに4ゲームずつで合計375勝273敗の成績を記録し、55 Eloの優位を確保し、探索木を一切使用せず、MoHex 2.0に勝利する最初のタブララサエージェントとなった。
• アブレーションスタディの結果、ExItフレームワーク内においてPGS-ExItはMCSを著しく上回ったことが確認され、適応的シミュレーション方策の利点が裏付けられた。
• 結果から、MCTS-ExItは従来の方策反復を上回り、PGS-ExItがヘックス固有の知識や探索木構造を一切使用せず、強力なエージェントを生成できることを示した。
• PGSはテスト時計画および学習の両方において有効であった。探索中の方策勾配適応により、複雑な環境においてスケーラブルで一般化可能な計画が可能であることが示された。