[論文レビュー] Improving Multilingual Sentence Embedding using Bi-directional Dual Encoder with Additive Margin Softmax

Yinfei Yang, Gustavo Hernández Ábrego+7 more|arXiv (Cornell University)|Feb 22, 2019

Topic Modeling参考文献 27被引用数 11

ひとこと要約

本稿では、ビテキスト検索のための多言語文埋め込みを向上させるために、加法的マージンソフトマックスを用いた双方向デュアルエンコーダー・モデルを提案する。埋め込み空間において正例対（翻訳済み）と負例対（非翻訳）の間にマージンを課すことで、UN並列コーパス（P@1 > 86%）で最先端性能を達成し、BERT再ランク付けを組み合わせることでBUCCマイニングタスクでも新SOTA（F1最高97.24%）を達成した。

ABSTRACT

In this paper, we present an approach to learn multilingual sentence embeddings using a bi-directional dual-encoder with additive margin softmax. The embeddings are able to achieve state-of-the-art results on the United Nations (UN) parallel corpus retrieval task. In all the languages tested, the system achieves P@1 of 86% or higher. We use pairs retrieved by our approach to train NMT models that achieve similar performance to models trained on gold pairs. We explore simple document-level embeddings constructed by averaging our sentence embeddings. On the UN document-level retrieval task, document embeddings achieve around 97% on P@1 for all experimented language pairs. Lastly, we evaluate the proposed model on the BUCC mining task. The learned embeddings with raw cosine similarity scores achieve competitive results compared to current state-of-the-art models, and with a second-stage scorer we achieve a new state-of-the-art level on this task.

研究の動機と目的

• 新しい学習目的を用いて、ビテキスト検索のための多言語文埋め込みの質を向上させること。
• マージン制約による埋め込み空間の安定化により、教師なしビテキストマイニングにおけるノイズの多い一致を低減すること。
• 単語レベルのWebデータから高品質な並列データマイニングを可能にし、NMTモデルの学習に活用すること。
• 単純な平均化により、文レベル埋め込みを文書レベル表現に拡張すること。
• BERT再ランク付けを用いた二段階アプローチにより、BUCCベンチマークにおけるビテキストマイニング性能を向上させること。

提案手法

• ソース文およびターゲット文を共有の多言語埋め込み空間にマップするため、双方向デュアルエンコーダー・アーキテクチャを用いる。
• 正例（翻訳済み）対と負例（非翻訳）対の間に最小の角マージンを課すために、加法的マージンソフトマックスを適用する。
• 対称性と一般化性能の向上を図るため、両方向（ソース→ターゲットおよびターゲット→ソース）にマージンを適用する。
• 計算量を削減しながら性能を維持するため、簡略化された一方通行のマージン定式化（式10）を採用する。
• モデルから得られる文レベル埋め込みの平均化により、文書埋め込みを構築する。
• 文脈的類似度に基づいて候補ペアを再ランク付けするため、微調整済みの多言語BERTモデルを2段階スコアラーとして用いる。

実験結果

リサーチクエスチョン

• RQ1 加法的マージンソフトマックスを用いた双方向デュアルエンコーダーは、ビテキスト検索のための多言語文埋め込みの質を向上させることができるか？
• RQ2 マージンに基づく学習目的は、埋め込み空間における真の翻訳ペアのクラスタがよりコンパクトかつ分離可能になるか？
• RQ3 得られた文埋め込みは、UN並列コーパスのリtrievalタスクで最先端性能を達成できるか？
• RQ4 文埋め込みから得られる文書レベル埋め込みは、文書レベルのビテキストマイニングでSOTAに匹敵または上回る性能を達成できるか？
• RQ5 生の埋め込みとBERT再ランク付けの組み合わせにより、BUCCビテキストマイニングベンチマークで新SOTAを達成できるか？

主な発見

• 全テスト言語でUN並列コーパスにおいてP@1が86%以上を達成し、最先端性能を示した。
• 提案手法を用いてマイニングした並列データで学習したNMTモデルは、ゴールスタンダードのビテキストで学習したモデルと同等または上回る性能を示した。
• 文埋め込みの平均化により得られる文書埋め込みは、UN文書レベルリtrievalタスクで約97%のP@1を達成した。
• モデルの生のコサイン類似度スコアは、BUCCタスクで競争力のある結果を示し、F1スコアは84.6～89.2の範囲に収まった。
• BERT再ランク付けを適用した場合、BUCCで新SOTAを達成し、F1スコアは93.38（ru-en）～97.24（de-en）の範囲に達した。
• 失敗要因分析から、数値やエンティティが異なるが意味的に類似した文の処理にモデルが苦労することが判明したが、BERTスコアラーにより効果的に是正された。