[論文レビュー] Language Modeling for Formal Mathematics

Markus N. Rabe, Dennis Lee+2 more|arXiv (Cornell University)|Jun 8, 2020

Natural Language Processing Techniques参考文献 1被引用数 3

ひとこと要約

本稿では、AIモデルにおける論理的推論を向上させるために、形式的数学的記述を対象とした新しいスキップツリー言語モデル学習タスクを提案する。このアプローチが、型推論や等式補完といった推論タスクにおいて標準的な言語モデル学習を上回ることを実証するとともに、訓練データを超えた新規で有用な予想を生成できる能力を有していることを示している。

ABSTRACT

We examine whether language modeling applied to mathematical formulas enables logical reasoning. We suggest several logical reasoning tasks that can be used to evaluate language models trained on formal mathematical statements, such as type inference, suggesting missing assumptions and completing equalities. To train language models for formal mathematics, we propose a novel skip-tree task, which outperforms standard language modeling tasks on our reasoning benchmarks. We also analyze the models' ability to formulate new conjectures by measuring how often the predictions that do not fit the ground truth or any training data turn out to be true and useful statements.

研究の動機と目的

• 形式的数学的式に対する言語モデル学習が、AIモデルにおける論理的推論を可能にするかどうかを調査すること。
• 型推論、欠落仮定の提案、等式補完といった新しい推論タスクの設計と評価を行うこと。
• 形式的数学的推論ベンチマークにおけるパフォーマンス向上を図るための新しいスキップツリー学習目的関数を提案すること。
• モデルが訓練データを超えた新規で有用な数学的予想を生成できるかどうかを評価すること。
• 真値や訓練データとは異なる予測の有用性を分析すること。

提案手法

• 数式木の途中ノードを飛ばして数学的式を予測するように言語モデルを学習するスキップツリータスクを導入すること。
• 論理的正しさを保証するため、証明支援ツールから得た形式的数学的記述を訓練データとして使用すること。
• 型推論、欠落仮定の提案、等式補完といった推論評価タスクを設計すること。
• 比較のため、標準的な言語モデル学習と本稿で提案するスキップツリー目的関数の両方でモデルを学習すること。
• 分布外の予測が数学的に妥当で有用であるかを確認することで、予想の質を測定すること。
• 推論ベンチマークにおけるモデルのパフォーマンスを評価し、スキップツリー学習と標準的な言語モデル学習を比較すること。

実験結果

リサーチクエスチョン

• RQ1 形式的数学的式に対する言語モデル学習が、型推論などの論理的推論タスクを実行できるか？
• RQ2 提案されたスキップツリー学習目的関数が、形式的数学的推論タスクにおいて標準的な言語モデル学習を上回るか？
• RQ3 予測によって、新規で真であり有用な数学的予想をどの程度生成できるか？
• RQ4 真値や訓練データとは異なる予測が、数学的に妥当な式として成立する頻度はどの程度か？
• RQ5 学習目的関数の設計が、形式的数学における推論能力に与える影響は何か？

主な発見

• スキップツリー学習目的関数は、すべての形式的数学的推論ベンチマークで標準的な言語モデル学習を顕著に上回る。
• スキップツリー目的関数で学習されたモデルは、型推論、欠落仮定の特定、等式補完の分野でパフォーマンスが向上していることが示された。
• 真値や訓練データとは異なる予測のうち、顕著な割合が数学的に妥当で有用な予想として判明した。
• 新規の予想を生成できる能力は、モデルが形式的数学におけるより深い構造的パターンを捉えていることを示唆している。
• 結果から、スキップツリー学習は形式的数学的推論における推論の正確性と創造的発見の両方を向上させるとわかった。
• 本研究は、タスク固有の学習目的関数と組み合わせた形式的式に対する言語モデル学習が、論理的推論を支援できることを確認した。