[論文レビュー] LAReQA: Language-agnostic answer retrieval from a multilingual pool

Uma Roy, Noah Constant+4 more|arXiv (Cornell University)|Apr 11, 2020

Topic Modeling参考文献 21被引用数 9

ひとこと要約

LAReQAは、多言語のプールから言語に依存しない回答の検索を評価する新しいベンチマークを導入し、意味的に関連する多言語ペアが同じ言語の不適切なペアよりも埋め込み空間で近くなるような強力なクロスリンガル整合性を要請する。研究では、機械翻訳を用いた訓練データの拡張が、mBERTを上回る強力な整合性を向上させるが、その代償として単言語検索タスクのパフォーマンスが低下することを明らかにした。

ABSTRACT

We present LAReQA, a challenging new benchmark for language-agnostic answer retrieval from a multilingual candidate pool. Unlike previous cross-lingual tasks, LAReQA tests for "strong" cross-lingual alignment, requiring semantically related cross-language pairs to be closer in representation space than unrelated same-language pairs. Building on multilingual BERT (mBERT), we study different strategies for achieving strong alignment. We find that augmenting training data via machine translation is effective, and improves significantly over using mBERT out-of-the-box. Interestingly, the embedding baseline that performs the best on LAReQA falls short of competing baselines on zero-shot variants of our task that only target "weak" alignment. This finding underscores our claim that languageagnostic retrieval is a substantively new kind of cross-lingual evaluation.

研究の動機と目的

• 強力なクロスリンガル整合性を評価する新しいベンチマーク、LAReQAを導入し、既存のゼロショット転送タスクを超えること。
• 多言語BERTが微調整とデータ拡張を用いて、意味的に関連するクロスリンガルペアが不適切な同じ言語ペアよりも近くなるような強力な整合性を達成できるかを調査すること。
• 翻訳ベースのデータ拡張を含む、さまざまな統合戦略の多言語および単言語検索タスクにおけるパフォーマンスを比較すること。
• 現在のゼロショットクロスリンガル評価（例：XNLI）が強力な整合性を適切に測定していないこと、および高い言語バイアスを示すモデルでさえも標準ベンチマークで良好な成績を収められることを示すこと。

提案手法

• LAReQAベンチマークは、質問と回答が複数の言語から抽出された多言語の候補プールを構築し、言語にかかわらず意味的に最も関連性の高い回答を検索することを要請する。
• 研究者らは「強力な整合性」を、意味的に関連するクロスリンガルペアが、いかなる不適切な同じ言語ペアよりも埋め込み空間で近い必要があると定義する。
• mBERTを、単言語および機械翻訳された訓練例の両方を組み合わせて微調整することで、強力な整合性を促進する。
• X-Yベースラインモデルは、元の文と逆翻訳された文のペアを両方で学習させることで、クロスリンガル転送を向上させ、表現における言語バイアスを低減する。
• 多言語プールからの検索における平均平均精度（mAP）を用いてパフォーマンスを評価し、ゼロショット単言語検索および言語ID予測と比較する。
• 主成分分析（PCA）を用いて埋め込み空間を可視化し、埋め込みから言語アイデンティティを予測する線形分類器を訓練し、言語バイアスを測定する。

実験結果

リサーチクエスチョン

• RQ1 多言語BERTは、関連するクロスリンガルペアが不適切な同じ言語ペアよりも近くなるような強力なクロスリンガル整合性を微調整によって達成できるか？
• RQ2 機械翻訳によるデータ拡張が、mBERTの初期性能を上回る強力な整合性を向上させるか？
• RQ3 言語IDの予測可能性（埋め込みからの言語識別可能性）で測定される言語バイアスと、強力な整合性のパフォーマンスの相関関係は何か？
• RQ4 標準的なゼロショットクロスリンガル転送（例：XNLI）で良好に動作するモデルが、強力な整合性を要請するLAReQAでは失敗する理由は何か？
• RQ5 強力なクロスリンガル整合性と同じ言語内での検索パフォーマンスの間にトレードオフがあるか？

主な発見

• X-Yベースライン（逆翻訳データで学習）は、LAReQAでmAP 0.63を達成し、mBERTや他のベースラインを著しく上回った。
• LAReQAで最高のパフォーマンスを示したX-Yベースラインは、単言語検索タスクでは他のモデルに劣っており、強力な整合性と言語内精度の間にはトレードオフがあることが示された。
• X-Xモデルの埋め込みからは言語IDが99.2%の正確さで予測可能で、高い言語バイアスを示しているが、X-Yモデルでは言語IDの正確さがわずか54.0%にとどまり、言語バイアスが低減していることが確認された。
• 標準的なゼロショット転送（例：XNLI）で良好に動作するモデルが、LAReQAではしばしば失敗する。これは、既存のベンチマークが強力な整合性を効果的に測定していないことを示している。
• 同じ言語データでのみ学習したX-X（-mono）ベースラインは、単言語検索で最良のパフォーマンス（表4）を示したが、LAReQAではmAPがわずか0.23にとどまり、このタスクの独自の課題が顕著に表れた。
• 機械翻訳による訓練データの拡張が、強力な整合性を顕著に向上させた。これは、mBERTの固有の能力を超えて強力な整合性を達成するには、明示的なクロスリンガルデータが不可欠であることを示している。