[論文レビュー] First-Order Problem Solving through Neural MCTS based Reinforcement Learning

Ruiyang Xu, Prashank Kadam+1 more|arXiv (Cornell University)|Jan 11, 2021

Artificial Intelligence in Games参考文献 30被引用数 5

ひとこと要約

本稿では、一階論理（FOL）で表現可能な組合せ問題を2人対戦型意味論的ゲームにマッピングするフレームワークPersephoneを紹介する。これにより、ニューラルモンテカルロ木探索（MCTS）に基づく強化学習による解法が可能となる。非対称なニューラルネットワーク設計、ウォームスタートMCTS、KL正則化付きPPOポリシー学習を活用することで、標準的なAlphaZeroの変種よりも優れたサンプル効率と収束速度を達成し、FOL問題から導出された意味論的ゲームにおいて優れた性能を発揮する。

ABSTRACT

The formal semantics of an interpreted first-order logic (FOL) statement can be given in Tarskian Semantics or a basically equivalent Game Semantics. The latter maps the statement and the interpretation into a two-player semantic game. Many combinatorial problems can be described using interpreted FOL statements and can be mapped into a semantic game. Therefore, learning to play a semantic game perfectly leads to the solution of a specific instance of a combinatorial problem. We adapt the AlphaZero algorithm so that it becomes better at learning to play semantic games that have different characteristics than Go and Chess. We propose a general framework, Persephone, to map the FOL description of a combinatorial problem to a semantic game so that it can be solved through a neural MCTS based reinforcement learning algorithm. Our goal for Persephone is to make it tabula-rasa, mapping a problem stated in interpreted FOL to a solution without human intervention.

研究の動機と目的

• 一階論理問題を自動的に意味論的ゲームにマッピングする一般化されたフレームワークの開発。
• 伝統的なボードゲームにとどまらない、解釈付き一階論理で表現される組合せ問題を、ニューラルMCTSベースの強化学習で解くことの拡張。
• 特化したアルゴリズム的改善を通じて、スパarsely報酬が与えられ、高次元状態空間を持つ問題におけるサンプル効率と収束速度の向上。
• ゲーム構造における対称性と非対称性が、ニューラルネットワーク設計および学習性能に与える影響の調査。
• 実際のFOL問題（HSRを含む）に対するフレームワークの妥当性の検証、ならびに真値指標とパフォーマンススコアリング手法を用いた評価。

提案手法

• Tarskianまたはゲーム意味論を用いて、FOL問題インスタンスを2人対戦型意味論的ゲームにマッピングし、ゲーム理論的問題解決を可能にする。
• 木探索をガイドするため、ポリシーおよび価値ネットワークを用いたニューラルMCTSを採用。選択には上位信頼性基準（UCB）を、データ生成には自己対戦を用いる。
• ゲームの非対称なダイナミクスをモデル化するため、各プレイヤーに別個のネットワークを設ける、新規の非対称ニューラルネットワークアーキテクチャを導入。
• ウォームスタートMCTSを適用し、以前の反復からの事前知識を用いてMCTSを初期化することで、収束を加速する。
• ポリシー学習にはKLダイバージェンス正則化付きPPO（近接ポリシー最適化）を用い、安定性とサンプル効率の向上を図る。
• パフォーランスは、真値指標（例：故障数カウント）と、最適解が未知の問題に対して用いられる代替スコアリング手法（Eloレーティング、α-Rank）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 一階論理問題は、ニューラルMCTSベースの強化学習に適した意味論的ゲームに効果的に変換可能か？
• RQ2 ゲーム構造における非対称性は、マルチエージェントMDPにおけるニューラルネットワーク設計および性能にどのように影響するか？
• RQ3 ウォームスタートMCTSは、意味論的ゲームの解法における収束速度とサンプル効率を向上させるか？
• RQ4 別個のプレイヤー用ネットワークとKL正則化付きポリシー学習の組み合わせは、非対称意味論的ゲームにおける性能にどのような影響を与えるか？
• RQ5 真値解が不明な状況において、Eloレーティングやα-Rankといったパフォーマンススコアリング手法は収束を信頼性高く追跡できるか？

主な発見

• KL正則化付きPPOにウォームスタートMCTSと別個プレイヤー用ネットワークを組み合わせた設定が、標準的なAlphaZeroおよび他の変種を上回る最良のパフォーマンスを達成した。
• ウォームスタートMCTSにより、トレーニング時間が顕著に短縮され、非ウォームスタートベースラインと比較して収束が速くなった。
• 別個プレイヤー用ネットワークは、特に非対称ゲームにおいて学習効率とパフォーマンスを向上させた。これは、相手プレイヤー用ネットワークのポリシー損失が早期に収束したことで裏付けられた。
• CE設定における価値ネットワークは、局所最適解に速やかに収束し、全体の学習を遅くし、トレーニング時間を延長した。
• Eloレーティングとα-Rankによるパフォーマンススコアリングは明確な段階的転移を示し、特にHSR(4,4,16)ではイテレーション8で550ポイントのEloスコア上昇を示し、最適戦略の発見に成功した。
• HSR(3,3,8)では、両プレイヤーが数イテレーションで故障数0に到達し、真値解への収束が確認された。