[論文レビュー] Learning Heuristics for Quantified Boolean Formulas through Deep Reinforcement Learning

Gil Lederman, Markus N. Rabe+2 more|arXiv (Cornell University)|Jul 20, 2018

Machine Learning and Algorithms参考文献 47被引用数 8

ひとこと要約

この論文では、定量的ブール論理式（QBF）ソルバーの優れた分岐ヒューリスティクスを自動的に学習するための深層強化学習アプローチを提案する。CADETソルバーにグラフニューラルネットワーク（GNN）を統合することで性能が向上する。ヒューリスティクス選択を強化学習問題として定式化することで、全体の解法時間を10倍短縮し、従来の手作業で設計されたヒューリスティクスよりもはるかに多くの論理式を解けるようになった。

ABSTRACT

We demonstrate how to learn efficient heuristics for automated reasoning algorithms for quantified Boolean formulas through deep reinforcement learning. We focus on a backtracking search algorithm, which can already solve formulas of impressive size - up to hundreds of thousands of variables. The main challenge is to find a representation of these formulas that lends itself to making predictions in a scalable way. For a family of challenging problems, we learned a heuristic that solves significantly more formulas compared to the existing handwritten heuristics.

研究の動機と目的

• QBFソルバーの効果的なヒューリスティクスを手作業で設計する課題に対処すること。これは性能に重要であるが、設計が困難である。
• 深層学習と形式的推論アルゴリズムの統合を検討し、スケーラビリティを向上させ、かつて解けなかった問題を解けるようにすること。
• QBFインスタンスにおけるソルバー動作から直接分岐ヒューリスティクスを学ぶ強化学習フレームワークを開発すること。
• 正式な証明を独立して生成・検証できるソルバーを用いることで、正しさを保証すること。
• ニューラルガイド付きソルバーにおける表現の難しさ、非有界な行動空間、長いエピソード長、高い推論オーバーヘッドといった課題を克服すること。

提案手法

• QBFを結合正規形（CNF）構造に基づいてグラフとして表現することで、グラフニューラルネットワーク（GNN）に適した入力表現を可能にする。
• バックトラッキングサーチ中に分岐意思決定（変数と値）を選択するため、GNNベースのポリシー網を深層強化学習で訓練する。
• 強化学習の環境は、正式な証明を生成可能なオープンソースのQBFソルバーCADETに基づいている。
• 解法時間と成功／失敗の結果に基づいたスパarsな報酬を受け取ることで、より速くかつ正しい解法を促進する。
• サンプル効率を向上させるために、類似した論理式から学習を開始し、その後新しいものに一般化するカリキュラム学習戦略を用いる。
• 推論オーバーヘッドを低減するため、モデルは小さく保ち、神経ネットワークの推論コストを考慮しながら低遅延意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計されたヒューリスティクスと比較して、深層強化学習はQBFソルバーのより優れた分岐ヒューリスティクスを効果的に学習できるか？
• RQ2 変数数に起因する非有界な行動空間と、長く可変長のエピソードを持つソルバーにおいて、ニューラルネットワークがどのように意思決定を学習できるか？
• RQ3 GNNベースのポリシーは、多様なQBFインスタンスに一般化しつつ、低い推論オーバーヘッドを維持できるか？
• RQ4 最先端のソルバーにニューラルポリシーを統合することで、全体の解法性能とスケーラビリティが向上するか？
• RQ5 強化学習エージェントが実装上のバグを悪用する可能性がある場合、正しさをどのように保証できるか？

主な発見

• 学習されたヒューリスティクスは、QBF論理式のベンチマークセット全体でCADETソルバーの平均解法時間を10倍短縮した。
• ベースラインの手作業ヒューリスティクスよりもはるかに多くの論理式を解けたが、特に難易度の高いQBFインスタンスのグループで顕著だった。
• 1回の意思決定における推論コストが高かったにもかかわらず、意思決定の質の向上がそれを上回り、全体としての性能向上が得られた。
• 驚くべきことに、より大きなニューラルネットワークは性能向上に寄与しなかった。これは、効果的なヒューリスティクス学習には、小さな効率的なモデルで十分であることを示唆している。
• GNNポリシーをCADETに統合することで、正式な証明の生成と検証が可能になり、すべての結果の正しさが保証された。
• 未観測の論理式に対しても強い一般化性能を示した。これは、学習されたヒューリスティクスがQBFの意味のある構造的パターンを捉えていることを示している。