[論文レビュー] PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification

Yinfei Yang, Yuan Zhang+2 more|arXiv (Cornell University)|Aug 30, 2019

Topic Modeling参考文献 12被引用数 13

ひとこと要約

PAWS-Xは、フランス語、スペイン語、ドイツ語、中国語、日本語、韓国語の6言語において、23,659件の人的翻訳済み類似表現同定ペアを含む、多言語間の敵対的データセットを提供する。元のPAWS英語データセットから抽出されたものである。多言語Bertを英語データに微調整し、機械翻訳された訓練例を追加することで、最先端の性能が達成され、次の最良モデルと比較して平均で23%の精度向上を示した。これは、深層多言語事前学習の有効性を示しており、今後の研究に大きな余地を残している。

ABSTRACT

Most existing work on adversarial data generation focuses on English. For example, PAWS (Paraphrase Adversaries from Word Scrambling) consists of challenging English paraphrase identification pairs from Wikipedia and Quora. We remedy this gap with PAWS-X, a new dataset of 23,659 human translated PAWS evaluation pairs in six typologically distinct languages: French, Spanish, German, Chinese, Japanese, and Korean. We provide baseline numbers for three models with different capacity to capture non-local context and sentence structure, and using different multilingual training and evaluation regimes. Multilingual BERT fine-tuned on PAWS English plus machine-translated data performs the best, with a range of 83.1-90.8 accuracy across the non-English languages and an average accuracy gain of 23% over the next best model. PAWS-X shows the effectiveness of deep, multilingual pre-training while also leaving considerable headroom as a new challenge to drive multilingual research that better captures structure and contextual information.

研究の動機と目的

• 英語以外の言語における高品質な敵対的類似表現同定データの不足に対処すること。
• モデルが言語間で構文的構造と文脈的意味を捉えられる能力をテストするベンチマークを構築すること。
• 多言語間転移学習および多言語間転移戦略の有効性を評価すること。
• ゼロショット、翻訳後に予測する、多言語微調整のアプローチを比較するための標準化されたテストベッドを提供すること。

提案手法

• 人間の翻訳者が、6言語の開発セットおよびテストセットについて高品質な類似表現判断を生成した。
• ニューラル機械翻訳（NMT）サービスを用いて、PAWS英語訓練セット全体を6つのターゲット言語に翻訳した。
• 得られたデータセットは、元のPAWSペアから高レベルの語彙的類似性と意味的類似性判断を保持しており、敵対的難易度を保証している。
• ベースラインモデル（BERT、ESIM、bag-of-words（BOW）モデル）は、複数の訓練および評価戦略（ゼロショット、翻訳後に予測、統合多言語微調整）を用いて評価された。
• 性能は正解率とAUC-PRスコアで測定され、モデル選択は開発セットの性能に基づいた。
• 誤差分析は、言語間でのラベル整合性を評価することで、曖昧または誤ってラベル付けされた例を特定するために実施された。

実験結果

リサーチクエスチョン

• RQ1 多言語モデルは、敵対的例を含む非英語類似表現同定タスクにどの程度一般化できるか？
• RQ2 多言語環境下で、機械翻訳データで学習させることで、ゼロショット転移に比べて性能が向上するか？
• RQ3 タイプオロジーが異なる言語（特にインド・ヨーロッパ語族とCJK言語）において、性能の差はどのように変化するか？
• RQ4 モデルは、多言語類似表現同定において、構文的構造および語順の感受性をどの程度捉えられるか？
• RQ5 多言語事前学習は、言語間でのモデルの頑健性および一般化能力にどのような影響を与えるか？

主な発見

• 英語データに加えて機械翻訳された訓練例で微調整した多言語Bertは、6つの非英語言語において平均83.1–90.8%の正解率を達成し、他のすべてのモデルを上回った。
• 最も優れたモデル（BERT-merged）は、次の最良モデルと比較して平均23%の正解率向上を示し、多言語事前学習の有効性を実証した。
• インド・ヨーロッパ語族（ドイツ語、フランス語、スペイン語）では、CJK言語（中国語、日本語、韓国語）よりも一貫して高い性能を示した。特にゼロショット設定ではその差が顕著であった。
• 翻訳後に予測する戦略はゼロショット転移を上回り、統合多言語データで学習させることで最も高い向上が得られ、ゼロショットに比べて正解率が8.6%絶対値で向上した。
• 1,972件のテスト例のうち61.7%が全6言語で正しく分類された。これは、大多数の例が言語を問わず一貫して困難であることを示している。
• 誤差分析の結果、32件の例が全言語で失敗しており、多くは元のPAWSデータの翻訳ノイズや曖昧・誤った正解ラベルに起因していた。