[論文レビュー] Margin-based Parallel Corpus Mining with Multilingual Sentence Embeddings

Mikel Artetxe, Holger Schwenk|arXiv (Cornell University)|Nov 3, 2018

Natural Language Processing Techniques参考文献 16被引用数 156

ひとこと要約

本稿では、多言語文埋め込みを用いたマージンベースの並列コーパスマイニング手法を提案する。コサイン類似度のしきい値手法に比べ、文のペア類似度とそのk番目の近隣の平均類似度とのマージンを測ることで、スケールの一貫性の欠如を是正する。本手法はBUCCで最先端の結果を達成し、10点以上のF1スコア上昇（10 F1ポイント以上）、UN再構築で85%の精度、およびフィルタリング済みParaCrawlデータを用いたnewstest2014における英語-ドイツ語NMTでBLEUスコアが1点以上上昇（31.2）を達成する。

ABSTRACT

Machine translation is highly sensitive to the size and quality of the training data, which has led to an increasing interest in collecting and filtering large parallel corpora. In this paper, we propose a new method for this task based on multilingual sentence embeddings. In contrast to previous approaches, which rely on nearest neighbor retrieval with a hard threshold over cosine similarity, our proposed method accounts for the scale inconsistencies of this measure, considering the margin between a given sentence pair and its closest candidates instead. Our experiments show large improvements over existing methods. We outperform the best published results on the BUCC mining task and the UN reconstruction task by more than 10 F1 and 30 precision points, respectively. Filtering the English-German ParaCrawl corpus with our approach, we obtain 31.2 BLEU points on newstest2014, an improvement of more than one point over the best official filtered version.

研究の動機と目的

• コサイン類似度の限界を是正すること。特に、文のペア間でスケールの一貫性が欠けることによる問題を解消する。
• 固定類似度しきい値の代わりにマージンベースのスコアリング機構を導入することで、近隣文の検索の信頼性を向上させること。
• 下流のニューラル機械翻訳タスクに適した、高品質なマイニング済み並列コーパスを向上させること。
• 低資源言語や距離の遠い言語ペアを含む多様な言語ペアにおいて、一貫した性能向上を示すこと。

提案手法

• マルチリンガル並列データ上で訓練されたクロスエントロピー損失を用いた、共通のマルチリンガルエンコーダデコーダアーキテクチャを採用。エンコーダは双方向LSTM、デコーダはLSTMを使用。
• エンコーダの隠れ状態のマックスプーリングにより固定長の文埋め込みを生成。訓練後はデコーダを廃棄。
• 文のペアのコサイン類似度と、両言語でそのk番目の近隣の平均類似度との差を計算するマージンベースのスコアリング関数を適用。
• 最大スコアを取得する比率マージン関数を用い、訓練データ上でF1スコアを最大化するようにフィルタリングしきい値を最適化。
• ParaCrawlのような大規模コーパスをバッチ処理し、マージンスコアに基づく上位スコアのペアをフィルタリング。
• LASERツールキットを用いてモデルをデプロイ。1つのマルチリンガルエンコーダで93言語をサポート。

実験結果

リサーチクエスチョン

• RQ1 固定コサイン類似度しきい値と比較して、マージンベースのスコアリングは並列文の検索信頼性を向上させるか？
• RQ2 コサイン類似度におけるスケールの不一致を考慮することで、多様な言語ペアにおけるマイニング性能が向上するか？
• RQ3 本手法は、ParaCrawlのような大規模並列コーパスに適用した場合、下流のNMT性能をどの程度向上させるか？
• RQ4 BUCC や UN 再構築のような標準ベンチマークで、最先端のシステムと比較してどのように性能を発揮するか？
• RQ5 英語-ルーマニア語や英語-中国語のような距離の遠い言語ペアに対しても、本手法は効果的に一般化可能か？

主な発見

• 本手法はBUCCの英語-ドイツ語テストセットで95.6のF1スコアを達成し、前回の最高記録を10点以上上回った。
• UN再構築タスクでは、英語-スペイン語のP@1で85.78%の精度を達成し、前回の最先端手法から30ポイント以上上回った。
• 本手法でフィルタリングしたParaCrawlの英語-ドイツ語コーパスを用いたnewstest2014では、31.2のデトークナイズドBLEUが得られ、公式でフィルタリングされたバージョンの最高記録を1点以上上回った。
• 本手法はBUCCの4つの言語ペアすべてで性能向上を示し、英語-フランス語および英語-ルーマニア語ではF1スコアが92を上回った。
• 低資源言語や距離の遠い言語ペアを含む多様な設定において一貫した向上を示し、強靭性と一般化性能を実証した。