[論文レビュー] Shared-Private Bilingual Word Embeddings for Neural Machine Translation

Xuebo Liu, Derek F. Wong+4 more|arXiv (Cornell University)|Jun 7, 2019

Natural Language Processing Techniques参考文献 35被引用数 6

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）のための共有・プライベートなバイリンガル単語埋め込みを提案する。各単語の表現を、二国語間で共有される（バイリンガル）成分と、それぞれの言語固有の（単語別）成分に分割することで、クロスリンガル整合性を向上させるとともに、モデルパラメータ数を削減する。この手法は注意メカニズムの質を向上させ、6つの言語系列にまたがる5つの言語対について、強力なTransformerベースラインを上回るBLEUスコアの向上を達成し、パラメータ数も少ない。

ABSTRACT

Word embedding is central to neural machine translation (NMT), which has attracted intensive research interest in recent years. In NMT, the source embedding plays the role of the entrance while the target embedding acts as the terminal. These layers occupy most of the model parameters for representation learning. Furthermore, they indirectly interface via a soft-attention mechanism, which makes them comparatively isolated. In this paper, we propose shared-private bilingual word embeddings, which give a closer relationship between the source and target embeddings, and which also reduce the number of model parameters. For similar source and target words, their embeddings tend to share a part of the features and they cooperatively learn these common representation units. Experiments on 5 language pairs belonging to 6 different language families and written in 5 different alphabets demonstrate that the proposed model provides a significant performance boost over the strong baselines with dramatically fewer model parameters.

研究の動機と目的

• 源言語と標的言語の単語埋め込み間で表現ユニットを共有することで、ニューラル機械翻訳におけるモデルパラメータ数を削減すること。
• 意味的に類似した語対や表記が一致する語対の間で共有特徴空間を導入することで、クロスリンガル整合性と注目メカニズムの質を向上させること。
• 共有アルファベットや追加の構成要素を必要とせず、言語に依存しない方法で単語表現学習を強化すること。
• 語対の類似度に基づいて動的に共有特徴の割合を調整することで、単語別表現学習とバイリンガル表現学習のバランスを取ること。
• モデルサイズとパラメータ数を削減しながら、強力なTransformerベースラインを一貫して上回る性能向上を達成すること。

提案手法

• 各源言語および標的言語の単語埋め込みは、共有成分とプライベート成分に分解され、共有部分は対応する語対間で共有される。
• 共有特徴は、意味的に関連する源言語語と標的言語語の間の有効距離を短くすることで、注目メカニズムの性能を向上させる事前知識として機能する。
• 語対の言語的関係に基づき、意味が似ている、同じ語形を持つ、関係のない、の3つのグループに分類し、それに応じて共有特徴の数を異なる値に割り当てる。
• 共有・プライベート構造により、意味的に類似した語に対して特に、表現ユニットを言語間で再利用することで、合計のモデルパラメータ数を削減する。
• 本手法はアーキテクチャに依存せず、Transformerを含む既存のNMTモデルと互換性があり、注目メカニズムやデコード機構の変更を必要としない。
• 標準的なNMTの目的関数に従い、エンド・ツー・エンドで訓練され、共有特徴とプライベート特徴が同時に最適化されることで、単語別表現学習とバイリンガル表現学習の両方の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 源言語と標的言語の単語埋め込み間で共有表現を導入することで、NMTにおける注目メカニズムの整合性と翻訳品質が向上するか？
• RQ2 すべての特徴を共有するのではなく、一部の特徴のみを共有することで、モデル性能とパラメータ効率にどのような影響を与えるか？
• RQ3 共有アルファベットや外部のアライメントツールに依存せず、パラメータ効率的かつ言語に依存しない方法でバイリンガル単語表現を強化できるか？
• RQ4 語対の類似度に基づいて共有特徴を動的に割り当てることで、表現学習にどのような影響を与えるか？
• RQ5 共有・プライベート埋め込みは、多様な言語対において、どの程度モデルパラメータ数を削減しながら翻訳品質を向上させられるか？

主な発見

• 提案手法は、6つの言語系列と5つの書記体系にまたがる5つの言語対について、強力なTransformerベースラインを上回る顕著なBLEUスコアの向上を達成した。
• 翻訳品質を維持または向上させながら、単語埋め込みに使用するパラメータ数を削減した。これは高いパラメータ効率性を示している。
• 主成分分析（PCA）を用いた定性的分析では、意味的に類似した語（例：'died' と 'killed'）とその翻訳語が、標準モデルと比較して共有・プライベート埋め込み空間内でより密にクラスタリングされていることが示された。
• 意味が似ている語（例：'also' と 'ye'）や語形が同じ語（例：'Lange' と 'Long'）が、共有特徴空間内でよりよく整合していることが確認され、効果的なバイリンガル表現学習が実現していることが示された。
• 中国語-英語など、アルファベットが異なる言語対に対しても本手法は良好な性能を示した。従来の重みの共有（weight tying）では失敗するが、本手法は言語に依存しないことを実証した。
• 複数のデータセットにおいて一貫して強力なベースラインを上回り、多様な翻訳タスクにわたる高い頑健性と一般化性能を示した。