[論文レビュー] Solving Arithmetic Word Problems with Transformers and Preprocessing of Problem Text

Kaden Griffith, Jugal Kalita|arXiv (Cornell University)|Jun 2, 2021

Natural Language Processing Techniques参考文献 21被引用数 4

ひとこと要約

この論文は、四則演算の文章問題を中置記法、前置記法、後置記法のいずれかに翻訳する、Transformerに基づくシーケンス・ツー・シーケンスモデルを提案する。数値のタグ付けと言語的フィルタリング（例：LST、ストップワード除去）による事前処理により、従来手法と比較して一部のデータセットで30%以上の精度向上を達成し、後置記法が最も優れた性能を示した。

ABSTRACT

This paper outlines the use of Transformer networks trained to translate math word problems to equivalent arithmetic expressions in infix, prefix, and postfix notations. We compare results produced by many neural configurations and find that most configurations outperform previously reported approaches on three of four datasets with significant increases in accuracy of over 20 percentage points. The best neural approaches boost accuracy by 30% when compared to the previous state-of-the-art on some datasets.

研究の動機と目的

• ニューラルシーケンス・ツー・シーケンスモデルを用いて、算術的文書問題の自動解決の精度を向上させること。
• 数値のタグ付けや言語的フィルタリングなどの事前処理技術が、モデルの汎化性能を向上させ、不要な数値の生成を低減するかどうかを調査すること。
• 異なる算術式表記法（中置、前置、後置）が、数学的文書問題のニューラル翻訳においてどの程度効果的であるかを評価すること。
• 外部モジュールを追加しない標準的なTransformerアーキテクチャが、このタスクにおいて特化したモデルを上回ることを示すこと。
• 再現可能性と今後の自動数学問題解決分野の研究を促進するため、コードを公開すること。

提案手法

• モデルは、中置記法、前置記法、後置記法のいずれかに、文章問題のテキストを算術式に翻訳するTransformerエンコーダ・デコーダアーキテクチャを採用する。
• 事前処理段階で、問題に含まれる数値を一般的なプレースホルダー（例：⟨i⟩, ⟨q⟩, ⟨x⟩）に置き換えることで、モデルが入力に存在しない不正な数値を生成するのを防ぐ。
• 言語的事前処理には、キーワードをフィルタリングし、数学的キーコンテキストに注目を集中させるための語彙ベースのストップワードタグ付け（LST）を用いる。
• モデルは、交差エントロピー損失とビームサーチデコードを用いて、4つのベンチマークデータセット上でエンド・ツー・エンドに訓練される。
• 後置記法と前置記法は、括弧のバランスを保つ必要がないため、中置記法よりも明確な構造を持ち、モデルの安定性と精度が向上する。
• 事前処理にはストップワードのフィルタリングと品詞タグ付けが含まれるが、一部の組み合わせ（例：語形還元＋ストップワード除去）は性能を低下させることがある。

実験結果

リサーチクエスチョン

• RQ1 数値のタグ付けと言語的フィルタリングによる事前処理は、算術的文書問題のTransformerベースのソルバーの精度を向上させるか？
• RQ2 前置記法、後置記法、中置記法のうち、どの算術式表記法がニューラルシーケンス・ツー・シーケンスモデルにおける翻訳精度を最も高めるか？
• RQ3 標準的なTransformerアーキテクチャは、数学的文書問題解決に特化したニューラルアーキテクチャを上回ることができるか？
• RQ4 ストップワード除去、語形還元などの異なる事前処理戦略が、モデルの性能と汎化性能にどのように影響するか？
• RQ5 モデルは、元の問題に存在しない数値をどの程度生成しないか？また、事前処理はその問題をどのように緩和するか？

主な発見

• 後置記法を用いたTransformerモデルが、特定のデータセットで従来のSOTA手法を30ポイント以上上回る最高の精度を達成した。
• 一般的なプレースホルダー（⟨i⟩, ⟨q⟩, ⟨x⟩）を用いた数値のタグ付けにより、入力に存在しない不正な数値の生成が顕著に減少した。
• 語形還元とストップワード除去を組み合わせた処理は、性能の著しい低下を引き起こし、過剰なフィルタリングによる情報損失がモデル学習に悪影響を及えることが示された。
• 後置記法と前置記法は、括弧の配置が重要となる中置記法と比較して、モデルの安定性と精度が向上した。
• LST事前処理法（語彙ベースのストップワードタグ付け）は、すべてのデータセットで性能向上をもたらし、推論の一貫性を高めた。
• モデルは、従来のアプローチと比較して平均で約10%の精度向上を達成した。これは、単純で適切に設計された事前処理が、アーキテクチャの複雑化なしに性能を顕著に向上させられることを示している。