[論文レビュー] DeepMath - Deep Sequence Models for Premise Selection

Alex Alemi, François Chollet+4 more|arXiv (Cornell University)|Jun 14, 2016

Topic Modeling参考文献 33被引用数 116

ひとこと要約

この論文は、深層ニューラルシーケンスモデルが大規模な自動定理証明における前提選択を効果的に行えることを示し、手工構築特徴ベースラインを上回り、アンサンブルによって補完される。

ABSTRACT

We study the effectiveness of neural sequence models for premise selection in automated theorem proving, one of the main bottlenecks in the formalization of mathematics. We propose a two stage approach for this task that yields good results for the premise selection task on the Mizar corpus while avoiding the hand-engineered features of existing state-of-the-art models. To our knowledge, this is the first time deep learning has been applied to theorem proving on a large scale.

研究の動機と目的

• 大規模な自動定理証明におけるボトルネックとしての前提選択を動機づける。
• 手工で設計された特徴量を使わず、形式化された証明から学習するニューラルモデルを開発する。
• 定義認識埋め込みを含む二段階の埋め込みアプローチを提案し、記号の一般化を向上させる。
• Mizar/Mizar Library のコーパスでニューラル前提セレクタを評価し、手作りのベースラインと比較する。

提案手法

• 命題と公理を、段階特化のニューラルネットワーク（文字レベルまたは単語レベル）によって生成される埋め込みとして表現する。
• 段階1で汎用埋め込みを学習し、段階2で定義埋め込みを用いて記号定義を統合する二段階パイプラインを訓練する。
• 結合された命題–公理の埋め込みにロジスティック分類器を用いて前提の有用性を予測する。
• ネガティブ・マイニングと複数GPUを跨る非同期Adam最適化で訓練する。
• 多くの命題–公理ペアを効率的に評価できるように埋め込みをキャッシュする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、手工で設計された特徴量なしで、大規模な形式コーパスから有用な前提関連性信号を学習できるか？
• RQ2 文字レベル、単語レベル、定義認識埋め込みは前提選択においてどのように比較されるか？
• RQ3 ニューラル予測と従来の特徴量を組み合わせることで、ATPの成功に補完的な利得が得られるか？
• RQ4 ニューラル前提選択を用いた場合、Mizarで得られる自動定理証明の精度はどの程度改善されるか？

主な発見

カットオフ k	k-NN ベースライン (%)	文字-CNN (%)	単語-CNN (%)	def-CNN-LSTM (%)	def-CNN (%)	def+char-CNN (%)
16	674 (24.6)	687 (25.1)	709 (25.9)	644 (23.5)	734 (26.8)	835 (30.5)
32	1081 (39.4)	1028 (37.5)	1063 (38.8)	924 (33.7)	1093 (39.9)	1218 (44.4)
64	1399 (51)	1295 (47.2)	1355 (49.4)	1196 (43.6)	1381 (50.4)	1470 (53.6)
128	1612 (58.8)	1534 (55.9)	1552 (56.6)	1401 (51.1)	1617 (59)	1695 (61.8)
256	1709 (62.3)	1656 (60.4)	1635 (59.6)	1519 (55.4)	1708 (62.3)	1780 (64.9)
512	1762 (64.3)	1711 (62.4)	1712 (62.4)	1593 (58.1)	1780 (64.9)	1830 (66.7)
1024	1762 (64.3)	1762 (64.3)	1755 (64)	1647 (60.1)	1822 (66.4)	1862 (67.9)

• 二段階のニューラルアプローチ（文字レベルから始めて次に単語/定義埋め込みへ）は、手工特徴量を用いたk-NNベースラインより前提選択を大幅に改善する。
• def-CNN-LSTMとdef-CNNモデルはベースラインを上回り、最も良いアンサンブルはトップkの前提内で証明された定理の74.25%（kは最大1024）を達成。
• def-CNNとchar-CNNの結合は他のニューラルモデルと同等かそれを上回り、テストセットの69.8%に達する；ニューラル手法とk-NNを組み合わせると全体で80.9%が証明される。
• 訓練時のネガティブマイニングは極めて重要で、トップ16カットオフで証明定理の数をほぼ倍増させる。
• ステージ1の文字CNN埋め込みから構築された単語レベルの埋め込みは結果を大幅に改善し、純粋なword-CNNやRNN系を上回る。