[論文レビュー] Mapping to Declarative Knowledge for Word Problem Solving

Subhro Roy, Dan Roth|arXiv (Cornell University)|Dec 26, 2017

Topic Modeling参考文献 28被引用数 6

ひとこと要約

本稿では、宣言的数学的規則へのマッピングを潜在変数としてモデル化することで、高価な中間ステップのアノテーションが不要な解釈可能で概念に配慮した解法生成を可能にする、知識拡張型フレームワークを提案する。この手法は、次元解析や部分集合関係といった概念の宣言的ルールを学習することで、頑健な抽象化を実現し、偏った訓練データでもより優れた汎用性を示す。

ABSTRACT

Math word problems form a natural abstraction to a range of quantitative reasoning problems, such as understanding financial news, sports results, and casualties of war. Solving such problems requires the understanding of several mathematical concepts such as dimensional analysis, subset relationships, etc. In this paper, we develop declarative rules which govern the translation of natural language description of these concepts to math expressions. We then present a framework for incorporating such declarative knowledge into word problem solving. Our method learns to map arithmetic word problem text to math expressions, by learning to select the relevant declarative knowledge for each operation of the solution expression. This provides a way to handle multiple concepts in the same problem while, at the same time, support interpretability of the answer expression. Our method models the mapping to declarative knowledge as a latent variable, thus removing the need for expensive annotations. Experimental evaluation suggests that our domain knowledge based solver outperforms all other systems, and that it generalizes better in the realistic case where the training data it is exposed to is biased in a different way than the test data.

研究の動機と目的

• 解釈可能性と頑健性を向上させるために、宣言的数学的知識を統合する算術的単語問題の解決手法を開発すること。
• 言語的パターンの違いにわたる一般化を可能にする抽象化を学習することで、概念的に偏った訓練データの課題に対処すること。
• 中間推論ステップの高価なアノテーションに依存しないように、ルール選択を潜在変数としてモデル化することで、その依存度を低減すること。
• 評価と訓練を支援するため、1,492件の算術的単語問題からなる、より偏りの少ない新規データセットを作成すること。
• 1つの問題内で複数の数学的概念（例：次元解析、部分集合関係、単位の整合性）を処理できるようにすること。

提案手法

• 各演算における宣言的ルールの選択を潜在変数として扱い、中間推論ステップのアノテーションが不要になるようにする。
• 自然言語の記述から数式にマッピングする際、まず関連する数学的概念（例：次元解析）を予測し、その後で適切な宣言的ルールを選択する。
• 同義関係（部分集合関係）、単位の整合性、レート要因といった、分野特有の宣言的ルールを統合する。
• 解法候補を探索するために、ビームサイズ1,000のビームサーチデコーダーを用いるが、性能はビームサイズが100程度でも安定している。
• 共参照および数値の単位検出は潜在的アライメントによってモデル化され、明示的なアノテーションへの依存が低下する。
• 確率的モデルを用いて共参照解消、同義関係検出、および単位ベースのフィルタリングを統合し、精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 知識拡張アプローチは、データバイアスの下でも、エンドツーエンド学習モデルを上回る性能を示せるか？
• RQ2 中間ステップのアノテーションが不要な状態で、宣言的ルール選択の潜在変数モデル化が、どの程度解釈可能性を向上させられるか？
• RQ3 訓練データとテストデータの言語的バイアスが異なる場合、モデルは概念的に類似した問題に対してどの程度一般化できるか？
• RQ4 余分な数値の検出やレート要因の解析にルールベースのシステムを導入することで、純粋にデータ駆動型のモデルに比べて性能が向上するか？
• RQ5 次元解析や部分集合関係といった数学的概念の宣言的ルールを組み込むことで、解法の正確性にどのような影響を与えるか？

主な発見

• 本稿で提案する手法（名称：'Knowledge'）は、標準ベンチマークで全ての既存システムを上回り、算術的単語問題の解決において優れた正確性を示した。
• 訓練データの言語的バイアスと異なるテストデータに対して、本モデルは先行システムよりも顕著に優れた一般化性能を示した。
• ビームサイズが100であっても、安定した性能を発揮したため、優れた結果を得るために高コストなビームサーチの複雑さは必須ではないことが示された。
• 26%の誤りは余分な数値の検出に起因しており、単位に結びつかない無関係な数値を特定する点が主な制限要因であることが明らかになった。
• もう26%の誤りはレート要因の解析（例：'1件あたり46ドルを稼ぐ'）に起因しており、レート表現の正規化に課題があることが示された。
• 共参照エラーは失敗の22%を占めており、代名詞や名詞句（例：'チームメンバー'を'人々'にリンク）のリンク処理が依然として課題であることが明らかになった。