[論文レビュー] First Experiments with Neural Translation of Informal to Formal Mathematics

Qingxiang Wang, Cezary Kaliszyk+1 more|arXiv (Cornell University)|May 10, 2018

Mathematics, Computing, and Information Processing参考文献 16被引用数 9

ひとこと要約

本論文は、非形式的なLaTeXで書かれた数学的記述を形式的Mizar言語に自動変換するためのニューラル機械翻訳（NMT）の最初の応用を提示する。947,231組の合成された非形式的・形式的ペアで学習されたLuongらのseq2seq NMTモデルを用い、最良の設定でテストデータにおいて65.73％の完全翻訳正解率を達成し、数学の自動形式化における強力な可能性を示している。

ABSTRACT

We report on our experiments to train deep neural networks that automatically translate informalized LaTeX-written Mizar texts into the formal Mizar language. To the best of our knowledge, this is the first time when neural networks have been adopted in the formalization of mathematics. Using Luong et al.'s neural machine translation model (NMT), we tested our aligned informal-formal corpora against various hyperparameters and evaluated their results. Our experiments show that our best performing model configurations are able to generate correct Mizar statements on 65.73\% of the inference data, with the union of all models covering 79.17\%. These results indicate that formalization through artificial neural network is a promising approach for automated formalization of mathematics. We present several case studies to illustrate our results.

研究の動機と目的

• 深層ニューラルネットワークを用いて、非形式的数学的記述を形式的で機械検証可能なMizar証明に自動翻訳する可能性を検討すること。
• MizarからLaTeXへの非形式化を逆方向に適用することで、合成されたトレーニングデータを生成することにより、大規模な非形式的・形式的数学コーパスの不足を補うこと。
• 最先端のニューラル機械翻訳モデルが、自然言語数学と形式的証明言語の間で複雑な文法的・意味的対応を学習できるかどうかを評価すること。
• ニューラルネットワークが数学および科学分野における自動形式化のスケーラブルなソリューションとしての可能性を評価すること。

提案手法

• アテンション機構を備えたエンコーダ・デコーダアーキテクチャに基づくLuongらのニューラル機械翻訳（NMT）フレームワークを採用した。
• 学術誌『Formalized Mathematics』で用いられる標準的なMizarからLaTeXへの翻訳を逆方向に適用することで、947,231組のMizar-LaTeXペアからなる大規模な合成コーパスを前処理した。
• 双方向LSTMエンコーダとポインタジェネレータデコーダを用い、ビームサーチによる推論を実施したseq2seqモデルを訓練した。
• 複数の設定でハイパーパrameterを最適化した。その中には語彙サイズ、埋め込み次元、隠れユニット数が含まれる。
• BLEUスコア、パープレキシティ、およびゴールスタンダード形式Mizar文との完全一致率を用いて、モデルのパフォーマンスを評価した。
• 翻訳品質およびさまざまな数学的分野における一般化能力を評価するために、アブレーションスタディおよび事例分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 ニューラル機械翻訳モデルは、高い正確性で非形式的LaTeX数学的記述を形式的Mizar構文にマッピングできるか？
• RQ2 隠れユニット数やアテンション機構などの異なるハイパーパrameterに対して、モデルのパフォーマンスはどのように変化するか？
• RQ3 トレーニング中に見られなかった未確認の数学的記述に対して、ニューラルモデルはどの程度一般化できるか？
• RQ4 構文的に異なる場合でも、モデルが出力する翻訳が、ターゲット形式文と意味的に同等であると見なせるか？
• RQ5 ニューラル翻訳は、個々の記述にとどまらず、完全な数学的証明やより大規模なコーパスへと拡張可能か？

主な発見

• 最良のモデル設定は、保留された105,247組のテストペアにおいて65.73％の完全一致率を達成し、形式化タスクにおける強力な一般化能力を示している。
• 複数のモデル設定からの予測を統合した場合、完全翻訳を達成するテストケースは79.17％に達し、アンサンブルモデルが耐性を高めることを示している。
• モデルは推論中に正しい括弧の対応付けや識別子のラベル付けといった複雑な構造的パターンを正しく学習した。
• 不完全とされた翻訳でも意味的に正しい場合が多く、ATPシステムによる意味的同等性評価の可能性を示している。
• MizarからLaTeXへの翻訳も意味のある結果（51.61％の同一文）をもたらしたが、逆方向の翻訳より品質が低かった。
• 事例スタディにより、訓練エポックを経るごとに翻訳品質が段階的に向上し、非形式的LaTeX入力から正しい形式的構文を生成する能力がモデルに学習されたことが明らかになった。