[論文レビュー] Automated proof synthesis for propositional logic with deep neural networks

Taro Sekiyama, Kohei Suenaga|arXiv (Cornell University)|May 30, 2018

Natural Language Processing Techniques参考文献 33被引用数 5

ひとこと要約

本論文は、各証明手順における推論規則の尤度をモデル化することで、命題論理における証明合成を自動化するための深層ニューラルネットワーク（命題から証明へのモデル）を提案する。尤度に基づく統計的フレームワークを用いて証明候補を順位付けするモデルは、正しい推論規則を予測する際、96.79%の正確性を達成し、従来のニューラルアプローチを著しく上回っている。

ABSTRACT

This work explores the application of deep learning, a machine learning technique that uses deep neural networks (DNN) in its core, to an automated theorem proving (ATP) problem. To this end, we construct a statistical model which quantifies the likelihood that a proof is indeed a correct one of a given proposition. Based on this model, we give a proof-synthesis procedure that searches for a proof in the order of the likelihood. This procedure uses an estimator of the likelihood of an inference rule being applied at each step of a proof. As an implementation of the estimator, we propose a proposition-to-proof architecture, which is a DNN tailored to the automated proof synthesis problem. To empirically demonstrate its usefulness, we apply our model to synthesize proofs of propositional logic. We train the proposition-to-proof model using a training dataset of proposition-proof pairs. The evaluation against a benchmark set shows the very high accuracy and an improvement to the recent work of neural proof synthesis.

研究の動機と目的

• 命題論理における自動証明合成（APS）のためのディープラーニングアプローチを開発し、記号的アプローチを越えること。
• 確率的推論を用いて、部分的に構築された証明が与えられた命題の正しい証明に至る可能性の尤度をモデル化すること。
• 各証明手順における推論規則の尤度を推定する専用の深層ニューラルネットワークアーキテクチャ（命題から証明へのモデル）を設計すること。
• 命題-証明ペアのベンチマークデータセット上でモデルの性能を実証的に評価すること。
• DNNが導出した尤度に基づいて証明探索をガイドすることで、エンドツーエンドのニューラル翻訳アプローチを上回るAPSにおける性能向上を示すこと。

提案手法

• 各ステップにおける推論規則の尤度の積に基づいて、証明が正しい確率を定量化する統計的モデルを用いてAPS問題を形式化する。
• 各推論規則の推定確率に従って、尤度が高くなる順に証明候補を探索する証明合成手順を提案する。
• 論理的命題の構文木を符号化し、次に適用すべき推論規則を予測する、深層ニューラルネットワーク「命題から証明へのモデル」を導入する。
• 論理式および証明義務を効果的に処理するため、木構造の畳み込みと集約層を備えたエンコーダ・デコーダアーキテクチャを採用する。
• 教師あり学習を用いて、自動的に生成された多数の命題-証明ペアのデータセット上でモデルを学習する。
• 証明合成の過程で、ビームサーチやグリーディサーチ戦略を、DNNに基づく尤度推定器によってガイドする。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、自動証明合成における推論規則の尤度を効果的に推定できるか？
• RQ2 学習済みモデルに従って尤度に基づく証明探索を行う戦略は、エンドツーエンドのニューラル翻訳アプローチを上回る性能を示せるか？
• RQ3 DNNモデルは、命題論理証明における正しい次の推論ステップを予測する際に、どの程度高い正確性を達成できるか？
• RQ4 命題から証明へのモデルアーキテクチャは、構造化された証明合成タスクを処理する際、既存のニューラルアーキテクチャと比較してどのように異なるか？
• RQ5 証明候補を順位付けする統計的モデルを用いることで、証明合成の効率性と成功確率にどのような影響を与えるか？

主な発見

• 命題から証明へのモデルは、証明構築の各ステップで正しい推論規則を特定する際、96.79%の予測正確性を達成した。
• 尤度に基づく証明合成手順は、短時間で多数の命題論理式に対して正しい証明を効果的に生成できた。
• 従来のニューラルアプローチ、特に同様のベンチマークで約50%の成功率しか達成できなかったシンプルなニューラル機械翻訳手法と比較して、本モデルは著しく優れた性能を示した。
• 木構造の畳み込みと集約層の使用により、論理式構造および証明義務の有効な符号化が可能になった。
• 統計的モデルにより、尤度の高い証明経路を優先することで、探索空間が効果的に削減された。
• 本手法は、深層学習と形式的推論を統合することで、命題論理における自動定理証明の実現可能性を示した。