[論文レビュー] Natural Language Premise Selection: Finding Supporting Statements for Mathematical Text

Deborah Ferreira, André Freitas|arXiv (Cornell University)|Apr 30, 2020

Mathematics, Computing, and Information Processing被引用数 8

ひとこと要約

本稿では、自然言語で書かれた数学的証明文における支援的な定義や命題を検索する自然言語前提選択（NL-PS）タスクを導入する。ProofWikiから抽出した新しいデータセットNL-PSを用いて、TF-IDF、PV-DBOW、BERT/SciBERTなどのベースラインを評価した結果、特にトークン化された記号を用いた数学的式の意味的モデリングが性能を顕著に向上させ、SciBERTが最高のMAP（0.383）を達成した。

ABSTRACT

Mathematical text is written using a combination of words and mathematical expressions. This combination, along with a specific way of structuring sentences makes it challenging for state-of-art NLP tools to understand and reason on top of mathematical discourse. In this work, we propose a new NLP task, the natural premise selection, which is used to retrieve supporting definitions and supporting propositions that are useful for generating an informal mathematical proof for a particular statement. We also make available a dataset, NL-PS, which can be used to evaluate different approaches for the natural premise selection task. Using different baselines, we demonstrate the underlying interpretation challenges associated with the task.

研究の動機と目的

• 自然言語と記号的表現を併用する非形式的数学的議論を理解し、推論できるようにNLPモデルを支援する課題に対処すること。
• 与えられた数学的命題の証明に必要な関連する定義や命題を検索することを目的とした、自然言語前提選択という新しいNLPタスクを提案すること。
• ProofWikiに基づいて作成・公開された新規データセットNL-PSを提供し、数学的前提選択のためのモデル評価とベンチマークを支援すること。
• さまざまな埋め込みおよび検索手法の有効性をこのタスクで評価し、一般向けモデル（例：BERT）が数学的意味を十分に捉えられていないことの限界を強調すること。
• 数学的式をトークン化し、専用の埋め込みを用いることで、語彙的または文字レベルの手法に比べて性能が顕著に向上することを示すこと。

提案手法

• NL-PSタスクは検索問題として定式化される：自然言語で記述されたターゲット数学的命題に対して、コーパス内から関連する支援前提（定義および命題）を検索する。
• NL-PSデータセットはProofWikiから構築され、関連する支援前提を有する3,084個の数学的命題が含まれる。
• 複数のベースラインが評価された：Bag-of-Wordsを用いたTF-IDF、語および文字レベルのトークン化を用いたPV-DBOW、微調整済みのBERTおよびSciBERTモデル。
• 数学的式は、構文的および意味的構造を保持するトークン化戦略を用いて処理され、式の部分構造への分解が含まれる。
• Mean Average Precision（MAP）を用いてタスクを評価し、さまざまな式符号化戦略およびデータセットサブセットごとに結果を報告した。
• 前提の推移的性質をモデル化するため、1-、2-、3ホップの前提チェーンを対象に検索性能を評価し、スケーラビリティおよび推論の深さを評価した。

実験結果

リサーチクエスチョン

• RQ1 一般向けNLPモデル（例：BERTやSciBERT）は、非形式的自然言語テキスト内の関連する数学的前提を効果的に検索できるか？
• RQ2 語彙レベル、文字レベル、またはトークン化された部分構成による数学的式の表現方法が、前提選択の性能にどのように影響するか？
• RQ3 前提が他の前提に依存するという数学的推論の推移的性質が、検索タスクの難易度を顕著に高めるか？
• RQ4 語彙的オーバーラップや単純な埋め込み手法（例：TF-IDF）が、数学的前提選択の文脈で、より洗練されたニューラル表現を上回る程度はどの程度か？
• RQ5 数学的意味を捉える専用の埋め込みは、一般向けモデルを上回る精度で検索を向上させられるか？

主な発見

• SciBERTが最高のMAPスコア（0.383）を達成し、BERT（0.377）を上回った。これは、科学的テキストで事前学習されたモデルが数学的前提選択タスクで性能を向上させることを示している。
• トークン化された式表現が語彙レベル（MAP = 0.046）や文字レベル（MAP = 0.061）の符号化よりも優れており、MAP = 0.072を達成した。これは部分式の意味的構造が重要であることを示している。
• 前提ホップ数の増加に伴い性能が著しく低下した：1ホップ（MAP = 0.089）、2ホップ（0.052）、3ホップ（0.038）。これは推移的推論の難易度が増すことを示している。
• トークン化された式を用いたTF-IDFがMAP = 0.072を達成し、語彙レベル（0.048）や文字レベル（0.051）のベースラインを上回った。これは式の構造が重要であることを示している。
• 100次元の埋め込みを用いた最良のPV-DBOWモデルがMAP = 0.072を達成した。これは、式の分散表現がスパース手法に比べて検索性能を向上させることを示している。
• 結果から、このタスクは意味的・非自明であり、語彙的オーバーラップや単純な検索では解決できない。数学的式のより深い意味的モデリングが不可欠であることが示された。