[論文レビュー] Unit Dependency Graph and its Application to Arithmetic Word Problem Solving

Subhro Roy, Dan Roth|arXiv (Cornell University)|Dec 3, 2016

Natural Language Processing Techniques参考文献 10被引用数 17

ひとこと要約

本論文は、算術的単位問題における単位関係を構造化された表現としてモデル化するためのユニット依存グラフ（UDGs）を導入し、数学的単位問題ソルバーにおける定量的推論を向上させる。単位の整合性、レート関係、および解法制約を分解型推論フレームワークを用いてモデル化することで、ソルバーの誤差を10%以上低減し、語彙的およびテンプレート変動に対してより高い耐性を示し、過去のあらゆるシステムを上回る性能を発揮する。

ABSTRACT

Math word problems provide a natural abstraction to a range of natural language understanding problems that involve reasoning about quantities, such as interpreting election results, news about casualties, and the financial section of a newspaper. Units associated with the quantities often provide information that is essential to support this reasoning. This paper proposes a principled way to capture and reason about units and shows how it can benefit an arithmetic word problem solver. This paper presents the concept of Unit Dependency Graphs (UDGs), which provides a compact representation of the dependencies between units of numbers mentioned in a given problem. Inducing the UDG alleviates the brittleness of the unit extraction system and allows for a natural way to leverage domain knowledge about unit compatibility, for word problem solving. We introduce a decomposed model for inducing UDGs with minimal additional annotations, and use it to augment the expressions used in the arithmetic word problem solver of (Roy and Roth 2015) via a constrained inference framework. We show that introduction of UDGs reduces the error of the solver by over 10 %, surpassing all existing systems for solving arithmetic word problems. In addition, it also makes the system more robust to adaptation to new vocabulary and equation forms .

研究の動機と目的

• 算術的単位問題の解法における単位抽出の脆さを、単位関係を体系的にモデル化することで是正すること。
• 単位の整合性およびレート関係に関するドメイン知識を統合することで、算術的単位問題ソルバーの性能を向上させること。
• 語彙的およびテンプレート的重複に依存するのを減らし、より良い一般化を実現するために、グローバルな単位依存関係を活用すること。
• 解法の答えと希なレートの注釈を用いて、最小限の注釈でUDGsを誘導する手法を開発すること。
• 単位依存関係に基づく制約付き推論を用いて、ソルバーの耐性および正確性を向上させること。

提案手法

• 量および質問を頂点とする有向ラベル付きグラフとしてユニット依存グラフ（UDGs）を提案し、同じ単位、分子単位、分母単位などの単位関係をエッジで表現する。
• 解法の答えと少数のレートの注釈を活用して、追加の注釈を最小限に抑えたUDGの予測に分解型モデルを用いる。
• UDGの予測と式生成を統合する制約付き推論フレームワークを導入し、解法式における単位の一貫性を強制する。
• 条件付きランダムフィールド（CRF）を用いた構造的予測アプローチを採用し、頂点ラベル（例：レート）とエッジタイプ（例：同じ単位、分母単位）を同時に予測する。
• トレーニング中に頂点とエッジの予測精度をバランスさせるために、学習可能なハイパーパrameter（λ_vertex と λ_edge）を含む損失関数を採用する。
• 完全なUDGの注釈を解法式とレートラベルから推論することで、人手による注釈データの必要を最小限に抑える弱教師付き学習戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 算術的単位問題における単位関係をどのようにモデル化すれば、推論の正確性を向上させられるか？
• RQ2 単位依存関係のグラフ表現が、語彙的およびテンプレート的変動に対して算術的単位問題ソルバーの耐性を高められるか？
• RQ3 UDGsは、現在のソルバーで生じる不整合な単位処理に起因する誤差をどの程度低減できるか？
• RQ4 解法式と希なレートの注釈を活用することで、最小限の人手による注釈でUDGsを誘導できるか？
• RQ5 単位依存情報の統合が、新しい語彙および方程式形式に対する単位問題ソルバーの一般化能力にどのように影響するか？

主な発見

• UDGsを用いたUnitDepシステムは、算術的単位問題ベンチマークにおいて、先行する最良手法LCA++と比較して誤差を10%以上低減した。
• UDGsの導入により、語彙的重複の低下に対して5%、テンプレート的重複の低下に対して5%の耐性向上が達成され、一般化能力の向上が明確に示された。
• λ_vertex と λ_edge を両方とも0に設定した場合（LCA++と同等）は性能が低下し、UDGにおける頂点およびエッジ情報の両方が向上に不可欠であることが確認された。
• LCA++が失敗する10%のケースで、単位の一貫性チェックにより不要な量を正しく特定・除外できた。
• UnitDepの主な誤差要因は不要な量の検出（50%）および数学的理解の欠如（23%）であり、実体および概念のモデル化のさらなる改善の余地があることが示された。
• IllinoisおよびCommoncoreデータセットにおいて、それぞれ1%および4%の絶対的向上を達成し、多様なベンチマークにわたる一貫した性能向上を確認した。