[論文レビュー] Solving General Arithmetic Word Problems

Subhro Roy, Dan Roth|arXiv (Cornell University)|Aug 4, 2016

Natural Language Processing Techniques参考文献 14被引用数 5

ひとこと要約

本論文は、式木と数量スキーマを用いた、テンプレートフリーな新規アプローチを提案する。複雑な問題を階層的分類タスクに分解し、世界知識に基づく制約付き推論を適用することで、方程式テンプレートのアノテーションや語彙カテゴリの追加学習データを一切必要とせず、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

This paper presents a novel approach to automatically solving arithmetic word problems. This is the first algorithmic approach that can handle arithmetic problems with multiple steps and operations, without depending on additional annotations or predefined templates. We develop a theory for expression trees that can be used to represent and evaluate the target arithmetic expressions; we use it to uniquely decompose the target arithmetic problem to multiple classification problems; we then compose an expression tree, combining these with world knowledge through a constrained inference framework. Our classifiers gain from the use of {\em quantity schemas} that supports better extraction of features. Experimental results show that our method outperforms existing systems, achieving state of the art performance on benchmark datasets of arithmetic word problems.

研究の動機と目的

• 事前に定義されたテンプレートや追加のアノテーションに依存せずに、一般算術文章問題を解くアルゴリズム的手法を開発すること。
• 四則演算を含む複数ステップの問題を含む、問題タイプの間で一般化できるようにすること。
• 関連する意味的および数値的情報を捉える数量スキーマの概念を導入することで、特徴抽出と推論を向上させること。
• 世界知識（例：答えの正の性質、整数性）から導かれる制約を用いて、式木の構築を連合推論問題として定式化すること。
• 特に未学習の問題タイプへのゼロショット一般化において、既存システムを上回ること。

提案手法

• 単調な式木を用いて算術式を表現し、数量間のペアワイズ演算への一意な分解を可能にする。
• 式木内の数量ペア間の最小共通祖先（LCA）演算を予測する一連の二値分類タスクとして問題を定式化する。
• 数量スキーマを用いて、各数量の意味的および数値的情報特徴を抽出・表現し、特徴の関連性と一般化性を向上させる。
• 制約付き推論フレームワークは、正当性および背景知識制約（例：「何個ですか？」の質問に対する正の答え）を満たす目的関数を用いて分類器出力を統合する。
• 問題構造に内在する冗長性を活用することで、式木構築段階での耐障害性と正確性を向上させる。
• 整数性や正の値の要件といった、世界知識に基づく制約を明示的に符号化し、誤った予測の是正と性能向上を図る。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された方程式テンプレートに依存せずに、複数の演算を含む一般算術文章問題を解くことは可能か？
• RQ2 式木は、複雑な算術文章問題を、より単純で学習可能な分類タスクに一意に分解するためにどのように利用できるか？
• RQ3 数量スキーマは、算術文章問題の解決において、特徴抽出と一般化をどの程度向上させるか？
• RQ4 世界知識に基づく制約付き推論は、特に複数ステップの問題において、予測正確性をどの程度向上させるか？
• RQ5 未学習の問題タイプ、例えば新しい演算の組み合わせを含む複数ステップ問題に対しても、システムは一般化可能か？

主な発見

• 提案手法は2つのベンチマークデータセット（ILおよびCC）で最先端の性能を達成し、ILデータセットでは先行手法を20%以上の絶対的差で上回った。
• CCデータセットでは、整数性および正の値制約を導入することで、非制約バージョンと比較して15%以上の性能向上が達成された。
• システムは、訓練時に見られなかった複数ステップ問題に対しても、効果的に一般化できた。
• Kushmannら（2014）のテンプレートベース手法は、CCデータセットで未学習の問題タイプに対し著しく性能を発揮できなかったが、本手法は依然として競争力のある性能を示した。
• 数量スキーマ抽出の誤りが、ILデータセットにおける関連性分類器の失敗の最大57%を占めており、今後の研究における主要な課題を示している。
• 本手法は稀なまたは未知の動詞に対しても耐性があるが、このようなケースは依然として誤差率に寄与しており、特にLCA演算分類器において顕著である。