[論文レビュー] Graph Neural Reasoning May Fail in Certifying Boolean Unsatisfiability

Ziliang Chen, Zhanfu Yang|arXiv (Cornell University)|Sep 25, 2019

Advanced Graph Neural Networks参考文献 20被引用数 6

ひとこと要約

この論文は、グラフニューラルネットワーク（GNN）が、メッセージパッシング機構に内在する制限により、CNF論理式におけるブール論理の不充足性（UNSAT）を証明できないことを示している。GNNはSAT解法の局所探索ヒューリスティクス（例：WalkSAT）をシミュレートできるが、2QBFのような問題では包括的探索と式の簡略化を必要とするため、UNSATを証明するのに必要なグローバルな推論を捉えられない。

ABSTRACT

It is feasible and practically-valuable to bridge the characteristics between graph neural networks (GNNs) and logical reasoning. Despite considerable efforts and successes witnessed to solve Boolean satisfiability (SAT), it remains a mystery of GNN-based solvers for more complex predicate logic formulae. In this work, we conjectures with some evidences, that generally-defined GNNs present several limitations to certify the unsatisfiability (UNSAT) in Boolean formulae. It implies that GNNs may probably fail in learning the logical reasoning tasks if they contain proving UNSAT as the sub-problem included by most predicate logic formulae.

研究の動機と目的

• GNNがブール論理推論における重要な部分問題である不充足性（UNSAT）を証明できるかを調査すること。
• 標準的なGNNのメッセージパッシング機構が、UNSAT証明に必要なグローバルな推論を捉えられない限界を分析すること。
• DPLLやCDCLといった既存のSATソルバーや、WalkSATといった局所探索手法と比較することで、構造的不一致を特定すること。
• 2QBF問題における推論プロセスをGNNがシミュレートできるかを評価すること。2QBF問題は本質的にUNSAT証明を必要とする。
• 先行研究で観察されたように、データ駆動型GNNがSATや2QBFにおいてランダム推測と同程度の性能を示す理由を明確にすること。

提案手法

• CNF論理式を二部グラフとして表現し、リテラルと節のノードを別々に定義し、GNNのメッセージパッシングで埋め込みを伝搬する。
• 最適な集約関数（式4）を定義し、含まれるすべての節が充足されている場合にリテラルの埋め込みをゼロに設定することで、WalkSATの未充足節選択を模倣する。
• ランダムベクトルのインジェクション（式5–6）を用い、未充足節内の変数の確率的反転をシミュレートすることで、WalkSATの局所探索ヒューリスティクスを再現する。
• 未充足の節に属するリテラルが特定できるように、節の埋め込みを未充足のときゼロに設定する（式7）。
• GNNの更新ルール（式4–7）が、すべての節が充足されたときに収束するWalkSATの反復的プロセスを包括的にシミュレートできることを示す。
• DPLLやCDCLのような完全なUNSATソルバーが用いる式の簡略化や変数の割り当て戦略をGNNがシミュレートできないことから、失敗モードを分析する。

実験結果

リサーチクエスチョン

• RQ1 GNNは、CNF論理式におけるブール不充足性（UNSAT）を証明するために必要な完全な推論プロセスをシミュレートできるか？
• RQ2 SAT問題では成功しているにもかかわらず、2QBF問題におけるGNNベースのモデルがランダム推測を上回らないのはなぜか？
• RQ3 GNNのメッセージパッシング機構は、WalkSATのような局所探索ヒューリスティクスの動作をどの程度再現できるか？
• RQ4 GNNがUNSAT証明に必要なグローバルな推論を捉えられない構造的・表現的制限は何か？
• RQ5 GNNがUNSAT証明に失敗するのは、メッセージパッシングの単純さに起因するのか、それともより深いアーキテクチャ的変更が必要なのか？

主な発見

• GNNは、式4–7で形式化された適切に設計された集約関数と結合関数により、WalkSATの局所探索ヒューリスティクスをシミュレートできる。
• GNNのメッセージパッシング機構は、DPLL や CDCL のような完全なSATソルバーが用いる式の簡略化と変数の削除ステップをシミュレートできない。
• すべての節が充足されたとき、GNNはリテラルの埋め込みが安定する固定点に収束するため、WalkSATの停止条件のシミュレーションに成功している。
• GNNは2QBF問題におけるUNSAT証明をできない。これは、系統的探索と式の簡略化が不可欠であるため、GNNがそれらを実行できないからである。
• UNSAT証明ができないことが、2QBFにおけるデータ駆動型GNNの性能がランダム推測と同程度にとどまる理由を説明する。これは先行研究でも報告されている。
• 信念伝播（BP）は、反復的に偏った∀-変数を割り当てて式を簡略化することで、2QBFにおける不充足性の証拠（witness）を特定できる。これは、現在のワンショットGNN埋め込みの能力を超える。