[論文レビュー] IsarStep: a Benchmark for High-level Mathematical Reasoning

Wenda Li, Lei Yu+2 more|arXiv (Cornell University)|Jun 13, 2020

Natural Language Processing Techniques参考文献 41被引用数 8

ひとこと要約

この論文では、形式的証明のアーカイブであるArchive of Formal Proofs（AFP）から抽出した実際の形式的証明を用いて、高レベルな数学的推論を評価するベンチマーク「IsarStep」を紹介する。本研究では、人間が読める定理証明における中間命題の生成というタスクにフォーカスし、ニューラルシーケンス・ツー・シーケンスモデル（包括的ハイブリッド変換器を含む）を評価した。その結果、これらのモデルは複雑な数学的推論を捉えることができ、特にハイブリッド変換器モデルがテストセットで25%の精度を達成した。

ABSTRACT

A well-defined benchmark is essential for measuring and accelerating research progress of machine learning models. In this paper, we present a benchmark for high-level mathematical reasoning and study the reasoning capabilities of neural sequence-to-sequence models. We build a non-synthetic dataset from the largest repository of proofs written by human experts in a theorem prover. The dataset has a broad coverage of undergraduate and research-level mathematical and computer science theorems. In our defined task, a model is required to fill in a missing intermediate proposition given surrounding proofs. This task provides a starting point for the long-term goal of having machines generate human-readable proofs automatically. Our experiments and analysis reveal that while the task is challenging, neural models can capture non-trivial mathematical reasoning. We further design a hierarchical transformer that outperforms the transformer baseline.

研究の動機と目的

• ニューラルモデルの高レベルな数学的推論能力を評価するための非合成的ベンチマークを確立すること。
• シーケンス・ツー・シーケンスモデルが形式的証明における中間命題を生成する能力を調査すること。
• 自動定理証明と人間が読める証明生成のギャップを埋めるために、より高いレベルでの推論プロセスをモデル化すること。
• 将来的な自動的かつ人間が読める証明合成の研究の基盤を提供すること。

提案手法

• ベンチマークは、Archive of Formal Proofs（AFP）およびIsabelle/HOLの標準ライブラリから抽出した204,000個の形式的証明済み補題から構築された。
• タスクは、証明コンテキストを入力として与え、欠落している中間命題を予測するシーケンス・ツー・シーケンス生成問題として定式化された。
• 局所的な層で命題を符号化し、グローバルな層で命題間の関係をモデル化する、ハイブリッド変換器（HAT）が提案された。
• 固定サイズのベクトルではなく、動的サイズの表現行列を用いることで、構造的情報を保持した。
• 証明カテゴリ内での命題の順序は必須ではないため、位置エンコーディングは省略された。
• ベースラインには、アテンションを備えた標準的なseq2seqモデルと標準的な変換器モデルが含まれ、比較に用いられた。

実験結果

リサーチクエスチョン

• RQ1 ニューラルシーケンス・ツー・シーケンスモデルは、高レベルな数学的証明における意味のある中間命題を学習して生成できるか？
• RQ2 特にハイブリッド変換器を含む、さまざまなニューラルアーキテクチャは、標準的な変換器と比較して、この複雑な推論タスクでどのように性能を発揮するか？
• RQ3 集合、部分集合、要素といった概念間の論理的依存関係のような、非自明な数学的推論を、どの程度モデルが捉えることができるか？
• RQ4 複雑な証明で一般的な長大な入力シーケンスに対して、モデルは一般化できるか？
• RQ5 モデルが数学的概念の意味的な表現を学習している証拠は何か？

主な発見

• ニューラルモデルはテストセットで15〜25％の精度を達成しており、タスクが困難ではあるが解けることを示している。
• ハイブリッド変換器は、標準的な変換器およびアテンション付きRNNベースラインを上回っており、特に長い入力シーケンスに対して優れた性能を示した。
• モデルの埋め込みから、類縁する数学的概念がコサイン距離空間でクラスタリングされていることが確認され、意味的学習が行われていることが示された。
• モデルは集合の属する関係や部分集合の包含関係といった複雑な論理的関係を扱うことができ、人間ですら難しいとされる複数ステップの推論も可能だった。
• モデルは論理的に妥当で証明導出に有用な中間命題を推論し、パターンマッチングを超えた有効な推論を実現していることが示された。
• 結果から、形式的証明で事前学習を行うことで性能がさらに向上する可能性があることが示唆されたが、これは今後の課題として残された。