[論文レビュー] Investigating Math Word Problems using Pretrained Multilingual Language Models

Minghuan Tan, Lei Wang+2 more|arXiv (Cornell University)|May 19, 2021

Topic Modeling参考文献 30被引用数 4

ひとこと要約

この論文は、事前学習済みマルチリンガル言語モデルを用いて、マルチリンガルな数学文章問題（MWP）の解決を調査し、mBERTおよびXLM-R上でコピーメカニズムを備えたシーケンス・ツー・シーケンス・モデルを提案する。結果として、共通の演算子と定数を共有しても、MWPソルバーの言語間での一般化はほとんど見られないが、訓練と評価の問題が類似した問題タイプを持つ場合、性能が著しく向上することが判明し、言語の類似性よりもドメインの類似性が一般化の鍵要因であることが示された。

ABSTRACT

In this paper, we revisit math word problems~(MWPs) from the cross-lingual and multilingual perspective. We construct our MWP solvers over pretrained multilingual language models using sequence-to-sequence model with copy mechanism. We compare how the MWP solvers perform in cross-lingual and multilingual scenarios. To facilitate the comparison of cross-lingual performance, we first adapt the large-scale English dataset MathQA as a counterpart of the Chinese dataset Math23K. Then we extend several English datasets to bilingual datasets through machine translation plus human annotation. Our experiments show that the MWP solvers may not be transferred to a different language even if the target expressions have the same operator set and constants. But for both cross-lingual and multilingual cases, it can be better generalized if problem types exist on both source language and target language.

研究の動機と目的

• マルチリンガル事前学習を用いて、ある言語で訓練されたMWPソルバーが別の言語に一般化できるかどうかを調査すること。
• 複数の言語からのモノリンガルデータセットを統合することで、言語ごとのMWP解決性能が向上するかどうかを評価すること。
• 言語の類似性、演算子セット、問題タイプといった要因が、クロスリンガルおよびマルチリンガル MWP 一般化に与える影響を特定すること。
• 既存の英語データセットを中国語に翻訳し、人間によるアノテーションを加えることで、比較分析用の新しいバイリンガル MWP データセットを構築・公開すること。
• 対照的学習とテンプレートベース学習の有効性を実証的に評価し、ゼロショットおよびフェイワショット MWP 一般化を改善すること。

提案手法

• コピーメカニズムを備えたシーケンス・ツー・シーケンス・モデルを用いて、モノリンガルおよびマルチリンガル MWP データセット上で multilingual BERT (mBERT) および XLM-Roberta (XLM-R) を微調整する。
• 中国語の Math23K データセットの演算子セットと式フォーマットに合わせて、大規模な英語 MathQA データセットを変換し、一貫性のある比較を可能にする。
• 機械翻訳を用いて MathQA および Math23K を中国語に翻訳し、品質管理のための人間によるアノテーションを加えることで、バイリンガル MWP データセットを構築する。
• ゼロショット一般化を向上させるために、言語間で意味的に類似した問題テンプレートを一致させるテンプレートベース対照的学習を適用する。
• 1枚の 2080Ti GPU を用い、バッチサイズ 160 で学習率スケジューラーに多項式減衰を適用し、30エポックにわたり改善が見られなかった場合は早期停止を行う。
• モノリンガルテストセット、ゼロショットクロスリンガル設定、バイリンガル評価セットを用いてモデルを評価し、転送性およびマルチリンガル一般化を測定する。

実験結果

リサーチクエスチョン

• RQ1 mBERT-zh として中国語 Math23K で訓練されたモノリンガル MWP ソルバーは、マルチリンガル事前学習を用いて、英語の問題を正しく解けるか？
• RQ2 複数の言語からのモノリンガルデータセットを統合したマルチリンガル学習セットを用いることで、モノリンガル学習に比べて各言語の性能が向上するか？
• RQ3 演算子と定数が共有されているにもかかわらず、ソース言語とターゲット言語間の問題タイプの類似性がクロスリンガル MWP 解決性能に与える影響はどの程度か？
• RQ4 テンプレートベース対照的学習は、言語間でゼロショットおよびフェイワショット MWP 一般化にどのように影響するか？
• RQ5 言語の類似性、ドメインの類似性、演算子セットの一貫性といった要因の中で、マルチリンガル MWP ソルバーの成功に最も影響を与える要因は何か？

主な発見

• 中国語 Math23K で訓練されたモノリンガル MWP ソルバー（mBERT-zh）は、自身のテストセットで 76.3% の正答率を示すが、英語の問題に対しては 49.5% に低下し、共通の演算子と定数を共有しても言語間での転送性はほぼゼロであることが示された。
• Math23K と変換済み MathQA の両方を用いて訓練されたマルチリンガルモデル（mBERT-xl）は、英語で 79.0%、中国語で 76.3% の正答率を達成し、両言語でモノリンガルモデルを上回り、マルチリンガル学習が言語に依存しない性能向上をもたらすことを示した。
• マルチリンガル学習による性能向上は、言語間で問題タイプが類似している場合に最も顕著であり、例えば mBERT-xl は Math23K で 3.1 ポイント、MathQA で 2.4 ポイント、モノリンガルベースラインを上回った。
• テンプレートベース対照的学習により、テストセットの性能が最大 3 ポイント向上（例：Math23K で 76.3% から 79.4%）したが、英語のゼロショット評価では性能が低下した。これは、データセット間でのテンプレートの多様性の不一致が原因であると推測される。
• 両言語に共通するテンプレートのみを制限した場合、テストセットの性能は低下したが、ゼロショット英語評価での性能が最大に向上し、問題タイプの一致が一般化において言語の類似性よりも重要であることを確認した。
• 本研究では、演算子セットや定数が同一であっても、ドメインの類似性（問題タイプ）が MWP ソルバーの一般化を予測する上で言語の類似性よりも強く影響することが示された。