[論文レビュー] Filtering and Mining Parallel Data in a Joint Multilingual Space

Holger Schwenk|arXiv (Cornell University)|May 24, 2018

Topic Modeling参考文献 19被引用数 7

ひとこと要約

本稿では、共通の埋め込み空間におけるコサイン距離を用いてノイズの多い平行データをフィルタリングし、単語ごとのニュースコーパスから平行文をマイニングする、共同マルチリンガル文埋め込みモデルを提案する。WMT'14 英語＝ドイツ語タスクにこの手法を適用したところ、学習データの25％をフィルタリングした後、BLEUスコアが0.3ポイント向上し、モデル固有のチューニングを必要とせず、複数の言語対に対して有効であることを示した。

ABSTRACT

We learn a joint multilingual sentence embedding and use the distance between sentences in different languages to filter noisy parallel data and to mine for parallel data in large news collections. We are able to improve a competitive baseline on the WMT'14 English to German task by 0.3 BLEU by filtering out 25% of the training data. The same approach is used to mine additional bitexts for the WMT'14 system and to obtain competitive results on the BUCC shared task to identify parallel sentences in comparable corpora. The approach is generic, it can be applied to many language pairs and it is independent of the architecture of the machine translation system.

研究の動機と目的

• ノイズの多い平行データのフィルタリングと、類似コーパスからのビテキストマイニングを可能にする、一般的でアーキテクチャに依存しない手法の開発。
• ニューラル機械翻訳（NMT）システムがノイズの多い学習データに対して感受性が高く、SMTよりも深刻な問題であることを解決する。
• 最大9言語にわたる複数言語のスケーラブルな、一様な埋め込み空間を用いたマルチリンガル平行データのキュレーションを可能にする。
• 言語固有の特徴や分類器に依存せずに、低リソース言語やノイズの多いビテキストに対してNMT性能を向上させること。

提案手法

• BPEトークン化と20kの共同語彙を用い、Europarlの平行コーパスを用いて9言語（en, fr, es, it, pt, de, da, nl, fi）の共通マルチリンガルBLSTMエンコーダーを学習する。
• 最終的なBLSTM隠れ状態のマックスプーリングにより、固定サイズの1024次元の文埋め込みを取得し、学習後はデコーダーを破棄する。
• 共通空間内での文埋め込み間のコサイン距離を用いて、平行文ペアを特定する：距離が小さいほど翻訳ペアである可能性が高くなる。
• 言語間距離にしきい値を適用して、ノイズの多いビテキストをフィルタリング（例：距離が0.25を超えるペアを破棄）し、類似コーパスから新たなビテキストをマイニングする。
• 大規模な単語ごとのニュースコーパス（例：144Mの英語文および187Mのドイツ語文）におけるペアワイズ距離を効率的に計算するために、FAISSベクトル検索ライブラリを活用する。
• 同じ埋め込み空間を用いて、BUCCおよびWMTデータセットにおけるゴールドスタンダードアラインメントと比較することで、マイニング品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 言語固有の特徴や分類器を用いずに、共通マルチリンガル文埋め込み空間が、ノイズの多い平行文ペアを効果的に同定・フィルタリングできるか？
• RQ2 本手法は、既存の手法と比較して、大規模な単語ごとのニュースコーパスから高品質なビテキストをマイニングする上でどれほど有効か？
• RQ3 ノイズの多いビテキストをフィルタリングすることで、下流のNMT性能がどの程度向上するか、特にWMT’14のような競争の激しいベンチマークにおいて。
• RQ4 マイニングされた文の長さ分布はNMT学習にどのような影響を及ぼすか？性能向上の制限要因となるか？
• RQ5 同じ埋め込み空間を複数の言語対およびデータソース（Common CrawlおよびWMTニュースコレクションなど）に適用可能か？

主な発見

• WMT’14 英語＝ドイツ語学習データの25％をコサイン距離のしきい値0.25でフィルタリングしたところ、BLEUスコアが24.76から25.06に0.3ポイント向上した。
• フィルタリングされたCommon Crawlデータ（340万文ペア）と元のEuroparlおよびNews Commentaryデータを組み合わせた場合、BLEUスコアは25.07を達成した。
• WMTニュースコレクションからマイニングしたビテキストをEuroparlおよびNews Commentaryデータに追加した場合、NMT性能は0.45 BLEU向上（21.87 → 22.32）を達成したが、フィルタリング済みCommon Crawlを含む最良のシステムに追加してもさらなる向上は見られなかった。
• 本手法はBUCC共有タスクにおいて先行手法を上回り、別々の埋め込み空間と二値分類器を用いたモデルよりも優れた性能を示した。
• 長さ分布の不一致が観察された：マイニングされた文の平均は8語であったのに対し、WMT’14学習データの平均は24語であった。これは、長文翻訳における課題を示唆している。
• 本手法は汎用的かつスケーラブルであり、最大9言語に適用可能で、NMTモデルアーキテクチャに依存しない。信頼度推定やバックトランスレーションのフィルタリングへの応用も可能性を有する。