[論文レビュー] The Geometry of Multilingual Language Model Representations

Tyler A. Chang, Zhuowen Tu+1 more|arXiv (Cornell University)|May 22, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿は、XLM-Rにおける多言語言語モデルの表現の幾何構造を分析し、言語固有の特徴と言語に依存しない特徴が直交する部分空間に符号化されていることを明らかにした。平均化処理を施した後、言語部分空間は非常に類似しており、語彙などの言語固有の特徴が差分として符号化されている。言語に依存しない軸はトークンの位置や品詞を保持し、層を跨いで安定的かつ解釈可能な特徴抽出を可能にする。

ABSTRACT

We assess how multilingual language models maintain a shared multilingual representation space while still encoding language-sensitive information in each language. Using XLM-R as a case study, we show that languages occupy similar linear subspaces after mean-centering, evaluated based on causal effects on language modeling performance and direct comparisons between subspaces for 88 languages. The subspace means differ along language-sensitive axes that are relatively stable throughout middle layers, and these axes encode information such as token vocabularies. Shifting representations by language means is sufficient to induce token predictions in different languages. However, we also identify stable language-neutral axes that encode information such as token positions and part-of-speech. We visualize representations projected onto language-sensitive and language-neutral axes, identifying language family and part-of-speech clusters, along with spirals, toruses, and curves representing token position information. These results demonstrate that multilingual language models encode information along orthogonal language-sensitive and language-neutral axes, allowing the models to extract a variety of features for downstream tasks and cross-lingual transfer learning.

研究の動機と目的

• 多言語言語モデルが言語固有の情報を保持しつつも、共有表現空間を維持する仕組みを理解すること。
• XLM-Rの表現空間における言語感受性および言語に依存しない軸を同定および特徴化すること。
• 因果的アブレーションおよび可視化技術を用いて、これらの部分空間がモデルの各層にわたって安定的かつ解釈可能であるかを評価すること。
• 平均化処理が言語部分空間を整列させ、特徴固有の方向を分離する幾何的役割を評価すること。
• 解釈可能な多言語表現学習および標的の部分空間整列の基盤を提供すること。

提案手法

• 88言語のXLM-Rにおける文脈依存的トークン表現に特異値分解（SVD）を適用し、アフィン部分空間を同定した。
• 言語固有または言語に依存しない軸を除去した際の言語モデリング性能への影響を因果的アブレーションで評価した。
• 可視化および分析のため、言語感受性および言語に依存しない軸で定義される低次元部分空間に表現を射影した。
• 平均化処理後に直接的な幾何的比較を用いて言語部分空間を比較し、類似性および整列性を評価した。
• 2次元および3次元の射影を用いて表現を可視化し、クラスタ（例：言語家族、品詞）およびトポロジカル構造（例：らせん、トーラス）を同定した。
• 中層および後段の中層で安定性が確認された軸を選択し、トークンの位置や品詞などの特徴を分離した。

実験結果

リサーチクエスチョン

• RQ1 多言語モデル（例：XLM-R）における言語部分空間は平均化処理を施すとより類似するようになるか？ これは共有表現学習に何を示唆するか？
• RQ2 表現空間におけるどの軸が言語感受性の情報を符号化しており、モデルの各層にわたってその安定性はいかほどか？
• RQ3 トークンの位置や品詞といった言語に依存しない特徴を符号化する軸は何か？ そしてそれらは幾何的にどのように構造化されているか？
• RQ4 部分空間シフトによって言語固有の情報を分離・操作可能か？ また、その影響は下流の性能に現れるか？
• RQ5 トポロジカル構造（例：トーラス、らせん）は表現空間にどのようにして出現し、何を符号化しているか？

主な発見

• 平均化処理を施した後、XLM-Rにおける88言語の言語部分空間は非常に類似しており、安定した共有表現構造を示している。
• 部分空間の平均値の差分が語彙や言語家族といった言語固有の情報を符号化しており、中層にわたってその軸は安定している。
• 言語に依存しない軸は一貫してトークンの位置や品詞を符号化し、可視化において安定的で解釈可能な構造（例：トーラス、らせん）を形成している。
• 言語固有の平均値に沿った表現のシフトが、異なる言語で正確なトークン予測を可能にするため、部分空間整列の有効性が示された。
• 表現空間は言語固有の特徴と言語に依存しない特徴を直交的に符号化できており、効率的な特徴抽出とクロスリンガル転送を可能にしている。
• 可視化により、言語家族や品詞ごとの明確なクラスタリングが確認され、直交的符号化のおかげで特徴間の干渉は最小限に抑えられていた。