[論文レビュー] Towards Proof Synthesis Guided by Neural Machine Translation for Intuitionistic Propositional Logic

Taro Sekiyama, Akifumi Imanishi+1 more|arXiv (Cornell University)|Jun 20, 2017

Natural Language Processing Techniques参考文献 27被引用数 7

ひとこと要約

本論文は、証明生成をニューラルマシン翻訳として定式化することにより、直感的命題論理における新規な証明合成手法を提案する。順序付き系列（seq2seq）モデルを用い、命題のトークンを証明項（λ-項）に翻訳するように学習させる。ハイパーパrameterチューニングを行わずとも、モデルは木編集距離において正解に近い証明を生成し、その結果、ブルートフォース手法を上回る効率的なガイド付き証明探索が可能になる。

ABSTRACT

Inspired by the recent evolution of deep neural networks (DNNs) in machine learning, we explore their application to PL-related topics. This paper is the first step towards this goal; we propose a proof-synthesis method for the negation-free propositional logic in which we use a DNN to obtain a guide of proof search. The idea is to view the proof-synthesis problem as a translation from a proposition to its proof. We train seq2seq, which is a popular network in neural machine translation, so that it generates a proof encoded as a $λ$-term of a given proposition. We implement the whole framework and empirically observe that a generated proof term is close to a correct proof in terms of the tree edit distance of AST. This observation justifies using the output from a trained seq2seq model as a guide for proof search.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）を用いた直感的命題論理における自動定理証明の可能性を検討すること。
• 通常は確率的かつ近似的なDNNと、完全に正しい出力を必要とする形式論理問題との間のギャップを埋めること。
• ベーシックなseq2seqモデルが、意味的および構造的に正しい証明に近い証明項の候補を生成できるかどうかを評価すること。
• DNNが出力する結果を探索のガイドとして用いる証明合成パイプラインを設計し、ブルートフォース探索に比べて効率を向上させること。
• 特にCurry–Howard同型対応の文脈において、DNNベースの証明合成のためのベースラインを確立すること。

提案手法

• 論理結合子に対して中置記法、λ計算の構文を用いて、命題と証明項をトークン列として表現する。
• 命題-証明ペアのデータセットを用いて、順序付き系列（seq2seq）ニューラルネットワークを、命題のトークン列から証明項のトークン列にマッピングするように学習させる。
• モデル出力の文法的誤りを修正するためにMyersのアルゴリズムを適用し、有効な解析木への木編集距離を最小化する。
• 修正された解析木を基準として、DNN出力からの木編集距離が小さい順に、証明項の候補を列挙する。
• Haskell（GHCi経由）での型検査により、候補証明項を検証し、Curry–Howard同型対応を活用して正しさを確認する。
• 木編集距離に基づくコスト関数を用いて候補証明項を優先順位付けし、正解証明を効率的に発見することを目的とする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みseq2seqモデルは、直感的命題論理において、構造的に正しい証明に近い証明項の候補を生成できるか？
• RQ2 ブルートフォースな列挙と比較して、DNNが出力する結果は証明合成の探索空間をどの程度小さくできるか？
• RQ3 木編集距離の指標は、誤った証明項と正しい証明項との類似度を測るのにどの程度有効か？
• RQ4 DNNベースのガイドは、形式論理システムにおける自動証明探索の効率を顕著に向上させられるか？
• RQ5 非チューニングDNNを用いた証明合成における限界は何か。また、後処理とガイド付き探索によってそれらはどのように緩和できるか？

主な発見

• ハイパーパrameterチューニングを行わずとも、学習済みseq2seqモデルはベンチマーク問題のほぼ半数で正解証明を生成した。
• 誤った証明項の出力は、木編集距離の観点から頻繁に正しい証明に近かったため、この指標を探索のガイドとして用いる妥当性が裏付けられた。
• ガイド付き証明探索手順は、ブルートフォース探索に比べて著しく効率的であり、構造的に妥当な候補を優先したからである。
• Myersのアルゴリズムによる後処理により、DNN出力の文法的誤りが正しく修正され、有効な抽象構文木へのパースが可能になった。
• 非最適化DNNでさえ、形式論理における証明合成のための有用で高品質な初期推定値を生成できることを示した。
• 本手法は、DNNベースの証明合成のための実用的ベースラインを確立し、神経翻訳が自動定理証明における強力なヒューリスティックである可能性を示唆している。