[論文レビュー] Learning Bilingual Sentence Embeddings via Autoencoding and Computing Similarities with a Multilayer Perceptron

Yunsu Kim, Hendrik Rosendahl+4 more|arXiv (Cornell University)|Jun 5, 2019

Topic Modeling参考文献 42被引用数 4

ひとこと要約

本稿では、ピボット言語を用いずに、平行語彙と単語語彙のみを用いて、自動符号化とニューラル機械翻訳を統合する共同学習フレームワークを提案する。このフレームワークにより、双方向文埋め込みを学習する。文のペア類似度を計算するための多層パーセプトロン（MLP）が、これらの埋め込みに訓練され、単一のモデルで文の一致回復およびWMT 2018の平行コーパスフィルタリングにおいて優れた性能を達成する。

ABSTRACT

We propose a novel model architecture and training algorithm to learn bilingual sentence embeddings from a combination of parallel and monolingual data. Our method connects autoencoding and neural machine translation to force the source and target sentence embeddings to share the same space without the help of a pivot language or an additional transformation. We train a multilayer perceptron on top of the sentence embeddings to extract good bilingual sentence pairs from nonparallel or noisy parallel data. Our approach shows promising performance on sentence alignment recovery and the WMT 2018 parallel corpus filtering tasks with only a single model.

研究の動機と目的

• 目的言語ペアに対して、平行語彙と単語語彙のみを用いて、統合的かつエンドツーエンドの双方向文埋め込み学習手法を開発すること。
• しばしば入手困難または実用的でないピボット言語やN方向平行データに依存しないようにすること。
• 文の埋め込みに学習可能な類似度測定（MLP）を訓練することで、平行コーパスマイニングおよびフィルタリングを改善すること。
• 下流タスクにおける双方向文マッチングにおいて、さまざまな類似度測定（コサイン類似度、MLP）を評価・比較すること。
• MLP学習における負例の質が類似度学習に与える影響を調査すること。

提案手法

• 共通のデコーダー目的関数を用いて、元の文と翻訳文の両方の翻訳を同時に学習するようなseq2seq NMTモデルを訓練し、双方向文埋め込みの共同学習を可能にする。
• 自動符号化コンponentを統合し、元の文と翻訳文の両方を再構築することで、共有埋め込み空間における意味的一致性を強制する。
• 文のペアが一致しているかどうかを予測するための微分可能な類似度関数として、多層パーセプトロン（MLP）を用いる。
• 正例（平行）と負例（非平行または低品質）の両方の文のペアを組み合わせてMLPを訓練し、細かい類似度の違いを学習する。
• 翻訳のためのNMT損失と自動符号化のための再構築損失を組み合わせた目的関数を用いて、システム全体をエンドツーエンドで最適化する。
• ノイズの多い平行コーパス（例：ParaCrawl）から得られるスコア化・順序付けられた文のペアを用い、MLP学習のための品質が異なる負例セットを生成する。

実験結果

リサーチクエスチョン

• RQ1 ピボット言語を必要とせず、平行語彙と単語語彙のみを用いて、1つのモデルが双方向文埋め込みを共同で学習できるか。
• RQ2 多層パーセプトロンは、文の埋め込み同士のマッチングに適した学習可能な類似度測定として効果的か。
• RQ3 MLP類似度モデルの学習において、負例の質の最適レベルは何か。
• RQ4 ノイズの多い平行コーパスのフィルタリングにおいて、MLP類似度はコサイン類似度よりも優れているか。
• RQ5 自動符号化による単語語彙の統合が、下流タスクにおける双方向文埋め込みの品質向上に寄与するか。

主な発見

• 提案手法はWMT 2018の平行コーパスフィルタリングタスクにおいて、複雑な翻訳モデルや言語モデルの組み合わせに依存するシステムと同等またはそれ以上の性能を達成した。
• MLP類似度モデルは、特に中程度の品質の文ペアを区別する能力において、コサイン類似度を上回り、バッチ計算が可能で高い効率性を示した。
• 中程度の負例—具体的にはノイズの多い平行コーパスから得た60％最も悪いスコアの例—が、MLP性能を最も高めることが判明し、妥当なペアと悪いペアの区別を適切に学習できた。
• ランダムに抽出された負例も驚くほど優れた性能を示し、平均的な負例の質が中程度であることが重要であることを示唆しており、明示的な順序付けが必ずしも必要ではない可能性を示した。
• 文の一致回復タスクにおいても、強い性能を示しており、共有埋め込み空間が双方向の意味的対応を効果的に捉えていることが示された。
• NMTと自動符号化の統合により、元の文と翻訳文の埋め込みが共有空間で一致するよう強制され、追加の変換やピボット言語を用いずに、より頑健な性能が得られた。