[論文レビュー] Investigating Multilingual NMT Representations at Scale

Sneha Kudugunta, Ankur Bapna+3 more|arXiv (Cornell University)|Sep 5, 2019

Topic Modeling参考文献 34被引用数 10

ひとこと要約

本論文は、103言語で学習された大規模な多言語NMTモデルにおける表現を、特異値正準相関分析（SVCCA）を用いて調査している。言語的類似性がエンコーダ表現のクラスタリングを駆動すること、ソースとターゲット表現間にクロスリンガル依存関係が存在すること、リソースが豊富または言語的に類似した言語が、微調整におけるより高い頑健性を示すこと、多言語間転送メカニズムに関する洞察が得られる。

ABSTRACT

Multilingual Neural Machine Translation (NMT) models have yielded large empirical success in transfer learning settings. However, these black-box representations are poorly understood, and their mode of transfer remains elusive. In this work, we attempt to understand massively multilingual NMT representations (with 103 languages) using Singular Value Canonical Correlation Analysis (SVCCA), a representation similarity framework that allows us to compare representations across different languages, layers and models. Our analysis validates several empirical results and long-standing intuitions, and unveils new observations regarding how representations evolve in a multilingual translation model. We draw three major conclusions from our analysis, with implications on cross-lingual transfer learning: (i) Encoder representations of different languages cluster based on linguistic similarity, (ii) Representations of a source language learned by the encoder are dependent on the target language, and vice-versa, and (iii) Representations of high resource and/or linguistically similar languages are more robust when fine-tuning on an arbitrary language pair, which is critical to determining how much cross-lingual transfer can be expected in a zero or few-shot setting. We further connect our findings with existing empirical observations in multilingual NMT and transfer learning.

研究の動機と目的

• 103言語で学習された大規模モデルにおける多言語NMT表現の性質を理解すること。
• 言語、層、モデル間での表現の重なりに影響を与える要因を調査すること。
• 任意の言語ペアに対して微調整を施した際の表現の頑健性を評価すること。
• 多言語転送学習における経験的観察と、学習済み表現の構造的性質を結びつけること。

提案手法

• 本研究では、異なる言語、層、モデル間の高次元かつノイズの多い表現を比較するために、特異値正準相関分析（SVCCA）を採用している。
• 250億の文対を含む102言語と英語をカバーする、大規模な多言語NMTモデルを学習しており、リソースレベルや言語的多様性の広がりを反映したデータを用いている。
• 微調整前後における、さまざまな言語ペアのエンコーダーとデコーダー表現間の表現的類似性を測定している。
• 微調整は、例えば ru-en、ko-en、km-en などのさまざまな言語ペアに適用され、層ごとの表現空間の変化を評価している。
• 類似性分析中に意味的要因を制御するため、約3,000組の意味的に同一の文対を含むマルチウェイアラインド評価セットが使用されている。
• 表現の安定性と転送可能性の層別変動を評価するため、エンコーダーとデコーダーの全層にわたって分析が実施されている。

実験結果

リサーチクエスチョン

• RQ1 多言語NMTモデルにおける、異なる言語間で学習された表現の重なりの程度を決定づける要因は何か？
• RQ2 モデルの異なる層において、表現の重なりの程度は一貫しているか？
• RQ3 任意の言語ペアに対して微調整を施した際、多言語NMT表現はどの程度頑健であり、その頑健性に影響を与える要因は何か？

主な発見

• 異なる言語のエンコーダ表現は、言語的類似性に基づいてクラスタリングされる。これは、構造的およびタイプロジカルに類似した言語が、より一致する表現を発展させることを示している。
• トレーニング中に、エンコーダーにおけるソース言語の表現はターゲット言語に依存しており、逆も同様である。これは、共有表現空間内に双方向の依存関係が存在することを示している。
• リソースが豊富または言語的に類似した言語の表現は、任意の言語ペアに対する微調整においてより頑健である。これは、ゼロショットやフェイシュート設定におけるより強い多言語間転送可能性を示唆している。
• 微調整中に表現が変化する程度は、エンコーダーおよびデコーダーの両方の深層で増加しており、後段の層がより感受性が高いことを示している。
• リソースが豊富で言語的に近い言語ペアでは、表現類似性の安定性が高く、これは低リソース転送状況での一般化性能の向上と相関している。
• これらの発見は、長年の転送学習に関する直感を裏付け、ゼロショットおよびフェイシュート翻訳における多言語NMTの成功の実証的根拠を提供している。