[論文レビュー] SLUA: A Super Lightweight Unsupervised Word Alignment Model via Cross-Lingual Contrastive Learning.

Di Wu, Liang Ding+2 more|arXiv (Cornell University)|Feb 8, 2021

Topic Modeling参考文献 34被引用数 6

ひとこと要約

本稿では、多言語対照的コントラスト学習と一致損失を用いて注意マップの鏡像的対称性を強制する、双方向対称注意を活用する超軽量な教師なし語対応モデルSLUAを提案する。GIZA++と比較して16.4倍高速な学習およびデコードを達成し、Transformerベースの手法と比較して50倍のパラメータ削減を実現し、最先端の性能を達成している。

ABSTRACT

Word alignment is essential for the down-streaming cross-lingual language understanding and generation tasks. Recently, the performance of the neural word alignment models has exceeded that of statistical models. However, they heavily rely on sophisticated translation models. In this study, we propose a super lightweight unsupervised word alignment (SLUA) model, in which bidirectional symmetric attention trained with a contrastive learning objective is introduced, and an agreement loss is employed to bind the attention maps, such that the alignments follow mirror-like symmetry hypothesis. Experimental results on several public benchmarks demonstrate that our model achieves competitive, if not better, performance compared to the state of the art in word alignment while significantly reducing the training and decoding time on average. Further ablation analysis and case studies show the superiority of our proposed SLUA. Notably, we recognize our model as a pioneer attempt to unify bilingual word embedding and word alignments. Encouragingly, our approach achieves 16.4x speedup against GIZA++, and 50x parameter compression} compared with the Transformer-based alignment methods. We will release our code to facilitate the community.

研究の動機と目的

• 計算コストを低減させながら性能を損なわずに、軽量で教師なしの語対応モデルを開発すること。
• 既存のニューラル語対応モデルが複雑な翻訳モデルに依存している問題を解決すること。
• 共有で対称的な注意メカニズムを用いて、二言語語彙埋め込みと語対応を統合すること。
• 性能を維持または上回る状態で、学習および推論の効率を向上させること。

提案手法

• ソース文とターゲット文間の注意マップにおける対称性を促進する双方向対称的注意を導入する。
• 埋め込み空間における多言語間の語表現を一致させるために、コントラスト学習の目的関数を採用する。
• 前向きおよび逆向きの注意マップ間の一貫性を強制するために、一致損失を適用し、鏡像的対称性を強制する。
• モノリンガルの並列文のみを用いて、エンドツーエンドで教師なしにモデルを学習する。
• パラメータを最小限に抑えて学習および推論の高速化を実現する、軽量なアーキテクチャを採用する。
• アライメントと表現学習の最適化を同時に実行することで、二言語語彙埋め込みと語対応を統合する。

実験結果

リサーチクエスチョン

• RQ1 複雑なニューラル機械翻訳モデルに依存せずに、軽量で教師なしの語対応モデルが競争力のある性能を達成できるか？
• RQ2 コントラスト学習を組み合わせた対称的注意は、語対応品質の向上にどの程度効果的か？
• RQ3 パラメータ効率性および推論速度を向上させられる程度はどの程度で、語対応精度を損なわないか？
• RQ4 二言語語彙埋め込みと語対応を1つの学習目的で効果的に統合できるか？

主な発見

• SLUAは、複数の公的ベンチマークにおいて、最先端の手法と比較して競争的または優れた語対応性能を達成している。
• GIZA++と比較して、学習およびデコード時間を16.4倍高速化している。
• Transformerベースのアライメントモデルと比較して、50倍のパラメータ圧縮を達成している。
• アブレーションスタディにより、コントラスト学習目的関数および一致損失の両方が語対応品質の向上に有効であることが確認された。
• ケーススタディでは、特にリソースが限られた状況下でも、SLUAがより一貫性があり対称的なアライメントを生成することが示された。
• 本モデルは、1つの軽量フレームワーク内で二言語語彙埋め込みと語対応を統合した最初のモデルである。