[論文レビュー] Mathematical Language Processing Project

Robert Pagael, Moritz Schubotz|arXiv (Cornell University)|Jul 1, 2014

Mathematics, Computing, and Information Processing参考文献 8被引用数 24

ひとこと要約

本論文は、品詞タグと距離に基づくランク付けを用いて、科学的テキスト内の識別子-定義ペアを自動で発見するMathematical Language Processing (MLP)プロジェクトを提示する。この手法は、単純なパターンマッチングよりも再現率を向上させつつ高い正確性を維持しており、インтелリジェントなツールチップベースの定義提案により、科学的数式の読みやすさとアクセス可能性を向上させることの有効性を示している。

ABSTRACT

In natural language, words and phrases themselves imply the semantics. In contrast, the meaning of identifiers in mathematical formulae is undefined. Thus scientists must study the context to decode the meaning. The Mathematical Language Processing (MLP) project aims to support that process. In this paper, we compare two approaches to discover identifier-definition tuples. At first we use a simple pattern matching approach. Second, we present the MLP approach that uses part-of-speech tag based distances as well as sentence positions to calculate identifier-definition probabilities. The evaluation of our prototypical system, applied on the Wikipedia text corpus, shows that our approach augments the user experience substantially. While hovering the identifiers in the formula, tool-tips with the most probable definitions occur. Tests with random samples show that the displayed definitions provide a good match with the actual meaning of the identifiers.

研究の動機と目的

• 科学的数式を理解する際の認知的負荷を軽減するため、数学的識別子を自動で特定し、定義を提案すること。
• 特にWikipediaを対象として、科学的テキストから識別子-定義関係をマイニングするスケーラブルで並列処理可能なシステムの開発。
• パターンベースと統計的手法の両者を比較し、数学的テキストにおける定義発見の有効性を評価すること。
• 検索やクラスタリングなどの後続応用に適した構造化された識別子-定義タプルを抽出することで、科学的出版物の機械可読性を向上させること。

提案手法

• Wikipedia記事内の<math/>タグから識別子を抽出し、正確な識別子パースのためMathMLを活用する。
• 周辺テキストに対する品詞（POS）タグ付けを実施し、文法的パターンに基づいて候補となる定義フレーズを特定する。
• 距離に基づくランク付けモデルが、POSタグの近接度と文の位置指標を用いて、定義-識別子ペアの確率を計算する。
• MLP手法は、POSタグの距離と表面的テキスト統計を組み合わせた統計モデルを用いて、候補定義をランク付けする。
• Wikipediaコーパス全体にわたる並列処理のために、Stratosphere PACTプログラミングモデルを活用する。
• 共起制約を用いて候補定義をフィルタリングし、識別子を含む文に限定して分析を行う。

実験結果

リサーチクエスチョン

• RQ1 POSタグ付けと距離指標に基づく統計的手法が、単純なパターンマッチングを上回るか、数学的識別子の定義を特定する上で有効であるか？
• RQ2 実世界の科学的テキストにおいて、MLP手法はルールベース手法と比較して正確性と再現率の両面でどのように性能を示すか？
• RQ3 構文的および位置的特徴の統計的モデリングは、曖昧なまたは構造が多様な文において、定義発見をどの程度向上させられるか？
• RQ4 関連する科学的論文を用いて、文書間の定義頻度分析により、曖昧または未定義の識別子を解消できるか？

主な発見

• MLP-Ranking手法は、k=1の時点で正確性0.872、再現率0.839を達成し、パターンマッチャーよりも再現率を上回りつつ正確性も同等を維持した。
• k=2では、正確性91.5%、再現率89.2%に向上し、構文的変化に対して高い耐性を示した。
• 統計的手法は、ルールベース手法が73.3%の再現率を示したのに対し、文構造の変化に対してより耐性があり、優れた性能を発揮した。
• プロトタイプでは、ツールチップを介して関連する定義を正しく特定・表示でき、数式の読解体験を顕著に向上させた。
• 32の識別子は多文字のインデックスなどによる曖昧さのため評価対象外となったが、残りの67件の有効なケースにおいても、コア手法は有効性を示した。
• 著者らは、今後の改善策として、関連する科学的論文間での文書類似度と共起頻度の活用が有効であると観察した。