[論文レビュー] Enhancing Answer Boundary Detection for Multilingual Machine Reading Comprehension

Fei Yuan, Linjun Shou+6 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 29被引用数 6

ひとこと要約

本稿では、多言語機械読解（MRC）における回答境界検出の性能向上を目的として、2つの補助的タスク—混在多言語MRC（mixMRC）と言語に依存しない知識マスキング（LAKM）—を提案する。質問と文書の対を多言語間で翻訳することで、クロスリンガルな質問-文書ペアを生成し、ウェブから抽出した知識フレーズを用いて、フレーズレベルの監視を提供する。この手法により、スペイン語とドイツ語では最大4.7%のEM向上が達成され、特に低リソース言語において、BERTやXLMのベースラインと比較して顕著な向上が見られた。

ABSTRACT

Multilingual pre-trained models could leverage the training data from a rich source language (such as English) to improve performance on low resource languages. However, the transfer quality for multilingual Machine Reading Comprehension (MRC) is significantly worse than sentence classification tasks mainly due to the requirement of MRC to detect the word level answer boundary. In this paper, we propose two auxiliary tasks in the fine-tuning stage to create additional phrase boundary supervision: (1) A mixed MRC task, which translates the question or passage to other languages and builds cross-lingual question-passage pairs; (2) A language-agnostic knowledge masking task by leveraging knowledge phrases mined from web. Besides, extensive experiments on two cross-lingual MRC datasets show the effectiveness of our proposed approach.

研究の動機と目的

• 多言語事前学習モデルのスパン抽出MRCにおける転移性能の低さ、特に低リソース言語においての課題を解決すること。
• 抽出型MRCにおいて極めて重要であるが、文レベルのタスクと比較して性能が劣る回答境界検出の性能向上を図ること。
• 英語と非英語MRCの性能格差、特にEM指標における格差を縮小すること。
• 言語に依存しない監視を導入し、フレーズレベルの整合性と多言語間の知識認識型表現学習を強化すること。

提案手法

• 微調整の段階で、質問または文書を他の言語に翻訳することで、クロスリンガルな質問-文書ペアを生成する混合MRCタスクを提案する。
• ウェブから抽出した知識フレーズを用いて、フレーズレベルの監視を提供する、言語に依存しない知識マスキング（LAKM）タスクを導入する。
• 言語固有のフレーズ（例：エンティティや名詞句）に焦点を当て、各言語ごとに知識フレーズを生成する言語に依存しない手法を採用する。
• M-BERT や XLM などの多言語モデルを、mixMRC と LAKM の両方を補助タスクとして微調整し、回答スパンの境界検出性能を向上させる。
• 事前学習段階で、知識フレーズを [MASK] トークンに置き換えるマスキング戦略を採用し、モデルが正確なスパン境界を学習するよう促進する。
• mixMRC と LAKM を統合して共同学習させ、クロスリンガルな整合性と知識認識型の監視を両立させる。

実験結果

リサーチクエスチョン

• RQ1 混合言語MRCペアを用いたクロスリンガルなデータ拡張が、多言語MRCにおける回答境界検出性能の向上に寄与するか？
• RQ2 マスキングタスクを通じて言語に依存しない知識フレーズを統合することで、低リソース言語の性能が向上するか？
• RQ3 提案された補助タスクが、特に固有表現や数値スパンといった異なる回答タイプにおいて、どのように性能に影響を与えるか？
• RQ4 英語データのみを用いたゼロショットまたはフェイワショットMRCにおいて、LAKMタスクがどの程度の性能向上をもたらすか？

主な発見

• MLQAデータセットにおいて、mixMRCとLAKMの組み合わせは、M-BERTベースラインと比較してスペイン語で1.7%、ドイツ語で4.7%のEM向上を達成した。
• LAKM単体でも、XLMを用いた場合、スペイン語で1.8%、ドイツ語で3.2%のEM向上を達成したが、英語では僅か0.5%の向上にとどまり、低リソース言語での向上が顕著であった。
• MTQAデータセットにおいて、英語データのみを用いたゼロショット設定では、LAKMは英語で2.0%、フランス語で3.3%、ドイツ語で3.8%のEM向上を達成した。
• LAKMは、ランダムなn-gramマスキングと比較して、言語ごとに0.2%から0.87%のEM向上を示し、知識認識型マスキングの必要性を裏付けた。
• 固有表現関連の回答タイプ（例：'full_name'、'animal'）では、LAKMはmixMRCと比較してそれぞれ14.3%、9.1%のEM向上を達成した。これは、名前付きエンティティのカバレッジがより良好だったためである。
• 数値回答タイプ（例：'money'、'numeric'）では、mixMRCとLAKMの間で類似した性能向上が見られたことから、このようなスパンにおけるクロスリンガルな転移が比較的容易であることが示唆された。