[論文レビュー] Solving Math Word Problems with Double-Decoder Transformer

Yuanliang Meng, Anna Rumshisky|arXiv (Cornell University)|Aug 28, 2019

Topic Modeling参考文献 12被引用数 4

ひとこと要約

本稿では、コピーまたはアライメント機構を用いずに方程式を生成するためのダブルデコーダー変換器モデルを提案する。2つのデコーダー（片方は左から右へ、もう片方は右から左へ）を共有エンコーダーと共同で訓練する。モデルはMLEで21.7%、RLで22.1%の精度を達成し、RNNや単一デコーダー変換器を上回る。これは、アンサンブル推論を用いずとも、双方向デコーディングが学習と一般化を改善することを示している。

ABSTRACT

This paper proposes a Transformer-based model to generate equations for math word problems. It achieves much better results than RNN models when copy and align mechanisms are not used, and can outperform complex copy and align RNN models. We also show that training a Transformer jointly in a generation task with two decoders, left-to-right and right-to-left, is beneficial. Such a Transformer performs better than the one with just one decoder not only because of the ensemble effect, but also because it improves the encoder training procedure. We also experiment with adding reinforcement learning to our model, showing improved performance compared to MLE training.

研究の動機と目的

• コピーまたはアライメント機構に依存せず、単語問題から正確な数学的方程式を生成するニューラルシーケンス・トゥ・シーケンスモデルの開発。
• 左から右および右から左に動作する2つのデコーダーを用いた変換器の学習が、単一デコーダーと比較して性能を向上させるかの調査。
• 双方向デコーダーを共同で訓練することで、エンコーダーの表現学習および全体の式生成品質に与える影響の評価。
• 最大尤度推定（MLE）を超えて強化学習が性能を向上させるかの評価。
• Dolphin18Kデータセット上で、最先端のリtrievalベースおよびハイブリッドRNNモデルと比較して、提案モデルの性能を評価すること。

提案手法

• エンコーダーを共有する2つのデコーダー（片方は左から右、もう片方は右から左）を備えた、変換器ベースのシーケンス・トゥ・シーケンスアーキテクチャを採用。
• 入力および出力シーケンスの数値表現に、負の数、(0,1)内の小数、その他の数値の3種類のトークンを用い、直接的なトークンコピーを回避。
• 交差エントロピー損失を用いた最大尤度推定（MLE）により学習し、両デコーダーからの損失の合算に基づいてエンコーダーも最適化。
• MLE学習後に強化学習（REINFORCE）を適用し、SymPyを用いた方程式の正しさを報酬信号として用いてモデルをファインチューニング。
• 推論ではビームサーチ（ビームサイズ10）を、RLのサンプリングではビームサイズ6を用い、N個の出力から得た平均精度を報酬として計算。
• 入力テキストにはGloVe 840B 300dの単語埋め込みを用い、変換器の次元に合わせて埋め込み後に512次元のフィードフォワード層を適用。

実験結果

リサーチクエスチョン

• RQ1 コピーまたはアライメント機構を用いず、左から右および右から左に動作する2つのデコーダーを備えた変換器モデルは、単一デコーダー変換器と比較して、方程式生成性能を向上させるか？
• RQ2 両方向デコーダーを共同で訓練することで、推論時に1つのデコーダーの出力のみを用いても、エンコーダーの表現学習が向上するか？
• RQ3 強化学習は、MLE学習を超えて、変換器ベースの式生成器の性能をどの程度向上させるか？
• RQ4 Dolphin18Kデータセット上で、提案モデルの精度は最先端のリtrievalベースおよびハイブリッドRNNモデルと比較してどうか？
• RQ5 コピーおよびアライメント機構の欠如が性能を妨げるか、それともモデルは十分に一般化できて、こうした機構を備えたより複雑なRNNベースのモデルを上回るか？

主な発見

• ダブルデコーダー変換器はMLE学習で21.7%の精度を達成し、単一デコーダー変換器（19.4%）およびコピー/アライメント機構を備えないすべてのRNNベースのモデルを顕著に上回った。
• アンサンブル投票を用いずとも、1つのデコーダーの出力のみを用いても、20.6%（左→右）および20.2%（右→左）の精度を達成しており、双方向の監視によりエンコーダーの学習が向上していることが示された。
• 強化学習により性能は22.1%に向上し、MLEを超えて一般化性能がさらに向上することを示した。
• コピーおよびアライメント機構を一切使用していないにもかかわらず、こうしたモジュールを備えたRNNモデル（最良のRNNモデルはRLおよびコピー/アライメントを併用で23.3%）を上回った。
• 最高のリtrievalベースのシステム（例：ハイブリッドGRU+コピー+アライメント+RLで33.2%）を上回ることはできなかったが、これはデータセット内の正解方程式の品質が低いためとされた。
• 結果から、より構造化された方程式のアノテーションが、現在の導出の明確さの欠如や追跡不能な値の存在による問題を解消することで、生成モデルの性能を顕著に向上させ得る可能性があることが示唆された。