[論文レビュー] Equation Parsing: Mapping Sentences to Grounded Equations

Subhro Roy, Shyam Upadhyay+1 more|arXiv (Cornell University)|Sep 28, 2016

Natural Language Processing Techniques参考文献 13被引用数 5

ひとこと要約

本稿では、変数とその関係を特定することで、自然言語文を意味的に根拠付けられた数学的方程式にマッピングする『方程式解析』というタスクを紹介する。本研究では、数学的表現の語彙と構造的予測器のパイプラインを用いた射影的方程式解析フレームワークを提案し、新規にアノテートされたデータセット上で70%の式精度と60%の正しい変数の根拠付け精度を達成した。

ABSTRACT

Identifying mathematical relations expressed in text is essential to understanding a broad range of natural language text from election reports, to financial news, to sport commentaries to mathematical word problems. This paper focuses on identifying and understanding mathematical relations described within a single sentence. We introduce the problem of Equation Parsing -- given a sentence, identify noun phrases which represent variables, and generate the mathematical equation expressing the relation described in the sentence. We introduce the notion of projective equation parsing and provide an efficient algorithm to parse text to projective equations. Our system makes use of a high precision lexicon of mathematical expressions and a pipeline of structured predictors, and generates correct equations in $70\%$ of the cases. In $60\%$ of the time, it also identifies the correct noun phrase $ ightarrow$ variables mapping, significantly outperforming baselines. We also release a new annotated dataset for task evaluation.

研究の動機と目的

• 自然言語文を正しい変数の根拠付けとともに数学的方程式にマッピングする課題に対処すること。
• 特に複数の変数や暗黙の参照を含む文において、数学的関係を同定しモデル化すること。
• 変数の共参照や不要な数量を処理できるスケーラブルで高精度な方程式生成手法を開発すること。
• 方程式解析システムの評価に用いるための新規で高品質なアノテート済みデータセットを公開すること。
• 個々の文レベルでの方程式生成と根拠付けに焦点を当て、既存の意味解析および数学的文章問題ソルバーよりも改善すること。

提案手法

• 方程式を隣接する連続するテキストスパンから構築する射影的方程式解析の概念を導入し、探索空間を削減する。
• 「差の」「積の」など、例として「difference of」「product of」を含む、高精度な数学的表現の語彙を用いて方程式構築をガイドする。
• 不要な数量の検出、共参照の解決、方程式の生成を行う構造的予測器のパイプラインを用いる。
• 推論をガイドし、方程式および根拠付け予測の正しさを保証するために、グリーディ語彙マッチングを適用する。
• 関係的フレーズを文脈的に解釈するために、主要な構造的用語（MidSpan、LeftSpan、RightSpan、LeftToken）を定義する。
• 推論を実行可能にするために出力空間を射影木に制限しつつ、現実世界の関係の高いカバレッジを維持する。

実験結果

リサーチクエスチョン

• RQ1 射影的解析アプローチは、自然言語文から方程式を生成する際の複雑さを効果的に低減できるか？
• RQ2 語彙駆動型でパイプラインベースのシステムは、テキストに記述された数学的関係における変数をどれほど正確に同定し、根拠付けできるか？
• RQ3 複数の名詞句を同じ変数に、または同じフレーズを複数の変数に根拠付けする場合、方程式解析のパフォーマンスにどの程度の影響を与えるか？
• RQ4 構造的予測器パイプラインは、不要な数量をどれほど正確に同定し、正しい方程式を構築できるか？
• RQ5 新規で高品質なアノテート済みデータセットは、方程式解析システムの評価とベンチマークにどれほど効果的か？

主な発見

• システムは、文から正しい数学的方程式を生成する際、70%の精度を達成した。
• 60%のケースで、システムはすべての変数を正しく根拠づけ、名詞句を方程式内の対応する変数にマッピングした。
• 数学的関係を記述する文の約97%において、射影的解析の仮定が成り立つため、この手法的制限は正当化される。
• 提案された語彙ベースのアプローチは、言語的トリガーに基づいて「+」「-」「×」「÷」などの関係演算子を同定する精度を著しく向上させた。
• 新規にアノテートされたデータセットにより、方程式解析システムの信頼性のある評価とベンチマークが可能になった。
• パイプラインアプローチは、方程式生成および変数の根拠付けの両タスクにおいて、既存のベースラインを上回った。