[論文レビュー] From Gameplay to Symbolic Reasoning: Learning SAT Solver Heuristics in the Style of Alpha(Go) Zero

Fei Wang, Tiark Rompf|arXiv (Cornell University)|Feb 14, 2018

Machine Learning in Materials Science参考文献 7被引用数 3

ひとこと要約

本論文は、ブール充足可能性問題（SAT）のような記号的推論問題をゲームに定式化することで、最適な意思決定ヒューリスティクスを学習する深層強化学習の活用を提案する。SATの解法を逐次的意思決定ゲームとしてモデル化し、Alpha(Go) Zeroと同様の強化学習を適用することで、DeepQ や従来のヒューリスティクスに比べて優れた一般化性能と正しさを達成した。これは、ニューラルネットワークによる記号的推論のためのモジュラで効率的かつ正しく保証されたアプローチを示している。

ABSTRACT

Despite the recent successes of deep neural networks in various fields such as image and speech recognition, natural language processing, and reinforcement learning, we still face big challenges in bringing the power of numeric optimization to symbolic reasoning. Researchers have proposed different avenues such as neural machine translation for proof synthesis, vectorization of symbols and expressions for representing symbolic patterns, and coupling of neural back-ends for dimensionality reduction with symbolic front-ends for decision making. However, these initial explorations are still only point solutions, and bear other shortcomings such as lack of correctness guarantees. In this paper, we present our approach of casting symbolic reasoning as games, and directly harnessing the power of deep reinforcement learning in the style of Alpha(Go) Zero on symbolic problems. Using the Boolean Satisfiability (SAT) problem as showcase, we demonstrate the feasibility of our method, and the advantages of modularity, efficiency, and correctness guarantees.

研究の動機と目的

• 深層ニューラルネットワークを記号的推論、特に離散的かつ論理ベースの問題（例：SAT）に統合する課題に対処すること。
• 点解法に依存するなど、既存手法の限界（正しさの保証の欠如、一般化性能の低さ）を克服するため、記号的推論をゲームとして再定式化すること。
• 記号的問題の文脈で、深層強化学習の意思決定能力を、モジュラで構築時に正しく保証されるフレームワークとして活用すること。
• Alpha(Go) Zero風の学習が、DeepQ よりも記号的推論タスクで一般化性能に優れているかどうかを、SATをベンチマークとして評価すること。
• ニューラルネットワークが、高レベルの記号的推論パターン（例：分岐ヒューリスティクス）を学習しつつも、記号的解釈可能性と正しさを維持できることを示すこと。

提案手法

• CNF（連言標準形）に表現されたSAT問題を、行が節（clause）、列が変数であるスパースな隣接行列として表現し、符号を(1,0)または(0,1)で符号化する。
• 畳み込みニューラルネットワーク（CNN）を用いて行列表現を処理し、強化学習のための状態埋め込みを生成する。
• MiniSat SATソルバを拡張し、Gym風の環境として機能させる。これにより、強化学習エージェントが逆方向シミュレーション可能な形で相互作用できる。
• Alpha(Go) Zeroアルゴリズム内でモンテカルロ木探索（MCTS）を用いて探索をガイドし、方策ネットワークと価値ネットワークの学習を改善する。
• 同じSATゲーム環境上で、DeepQ と Alpha(Go) Zero の2つの強化学習アルゴリズムを訓練し、後者は意思決定のための方策ベクトル（pi）と状態価値（v）を学習する。
• 問題を解くための分岐決定回数に基づく報酬信号を用い、回数が少ないほど性能が良いと判断する。

実験結果

リサーチクエスチョン

• RQ1 SATのような記号的推論問題を、深層強化学習によるヒューリスティクス学習を可能にするゲームとして効果的にモデル化できるか？
• RQ2 両者とも訓練データに収束するにもかかわらず、Alpha(Go) Zero風の強化学習は、DeepQ よりも記号的推論タスクで一般化性能に優れているか？
• RQ3 ゲーム的SAT環境で自己対戦により学習したニューラルネットワークは、VSIGSのような手作業で設計されたヒューリスティクスを上回るヒューリスティクスを学習できるか？
• RQ4 ゲームベースのフレームワークのモジュラ設計は、他の記号的推論問題への再利用をどの程度可能にするか？
• RQ5 Alpha(Go) ZeroにおけるMCTSおよび価値／方策ネットワークの使用は、DeepQにおけるQ値学習と比較して、より優れた記号的推論一般化性能をどのようにもたらすか？

主な発見

• Alpha(Go) Zeroアルゴリズムは、32個のSAT問題からなる訓練セットでほぼ最適な性能を達成し、200個のテストセットに対しても良好な一般化を示した。
• DeepQは訓練セットに収束したが、テストセットへの一般化に失敗し、特定の状態・行動ペアに過剰適合していることが示された。
• 両方の強化学習モデルとも、VSIGSヒューリスティクスを用いたMiniSatソルバーよりも、平均分岐決定回数が少ないことから優れた性能を示した。
• Alpha(Go) Zeroモデルは、MiniSatよりも平均的にはるかに少ない分岐決定回数を要しており、優れたヒューリスティクス品質を示している。
• 行動を常に有効な分岐決定に制限することで、正しさが保証されており、不正な動きや誤った解が発生しない。
• 本アプローチはモジュラである。同じニューラルネットワークとゲームインタフェースを、最小限の変更で他の記号的推論問題に応用可能である。