[論文レビュー] Locating Language-Specific Information in Contextualized Embeddings

Sheng Liang, Philipp Dufter+1 more|arXiv (Cornell University)|Sep 16, 2021

Topic Modeling参考文献 15被引用数 4

ひとこと要約

この論文は、多言語の文脈的埋め込みにおける言語固有の情報を同定・分析し、それが複数の次元に分散していることを示し、言語数にほぼ等しい次元の線形部分空間に投影可能であることを示している。DensRayおよびLDAを用いた線形投影により、言語固有の情報は低層で最も分離可能であることが判明し、微調整中に言語固有の情報を保持するよう促す活動正則化（L-DAR）を提案。この手法は、NERおよびPOSタギングタスクにおけるゼロショット多言語間転移性能を向上させる。

ABSTRACT

Multilingual pretrained language models (MPLMs) exhibit multilinguality and are well suited for transfer across languages. Most MPLMs are trained in an unsupervised fashion and the relationship between their objective and multilinguality is unclear. More specifically, the question whether MPLM representations are language-agnostic or they simply interleave well with learned task prediction heads arises. In this work, we locate language-specific information in MPLMs and identify its dimensionality and the layers where this information occurs. We show that language-specific information is scattered across many dimensions, which can be projected into a linear subspace. Our study contributes to a better understanding of MPLM representations, going beyond treating them as unanalyzable blobs of information.

研究の動機と目的

• 多言語事前学習言語モデル（MPLMs）における言語固有の情報が、どの場所に、どのようにエンコードされているかを調査すること。特に、それが言語に依存しないものか、それとも次元に散らばっているかを明らかにすること。
• MPLMsにおける言語固有部分空間の次元数を特定し、その情報が最も顕著に現れる層を同定すること。
• 微調整中に言語固有の情報を保持することで、ゼロショット多言語間転移性能が向上するかを評価すること。
• 言語固有の情報を微調整中に保持を促進する活動正則化法（L-DAR）を提案・検証すること。

提案手法

• 著者たちは、多言語BERT（mBERT）表現における言語固有部分空間を特定するために、2つの線形投影手法（DensRayおよび線形判別分析（LDA））を用いる。
• DensRayは、埋め込み空間における言語間距離を最大化し、言語内距離を最小化する直交変換を実行する。
• LDAは、クラス重心と全体平均を用いて、言語クラス間の判別的方向を特定し、直交でない変換を実行する。
• 両手法の目的関数における行列のランクによって、言語固有部分空間の次元数が制限され、その上限は言語数に近い。
• 微調整中に隠れ表現に学習済みの投影を適用することで、言語固有の情報を保持するよう促す活動正則化（L-DAR）を提案する。
• プロービングタスク（言語識別、言語的タイプロジー、言語類似度）および下流NLPタスク（POSタギング、NER）におけるゼロショット多言語間転移を想定した実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャのどの部分に言語固有の情報が最も集中しているか—次元および層の観点から。
• RQ2 多言語文脈的埋め込みにおける言語固有部分空間の固有次元数は何か。
• RQ3 微調整中に言語固有の情報を保持することで、ゼロショット多言語間転移性能が向上するか。
• RQ4 異なる線形投影手法（DensRay対LDA）は、言語固有部分空間の特定においてどのように比較されるか。

主な発見

• mBERTにおける言語固有の情報は多数の次元に散らばっているが、言語数にほぼ等しい次元の線形部分空間に投影可能である。
• 言語固有の情報はネットワークの低層で最も分離可能であり、初期層で言語の区別がより明確に現れる。
• 提案されたL-DAR正則化法は、ゼロショット多言語間転移においてわずかだが一貫した性能向上を達成し、POSタギングで0.3%のF1スコア上昇、マルチソースPOSで0.5%上昇を示した。一方、NERでは0.6%の低下を示し、タスク依存の影響があることが示唆された。
• L-DARは上層部において、ベースラインmBERTを上回る性能を示し、深層部における言語固有特徴の保持がより良好であることを示している。
• 言語固有部分空間の次元数の上限は、モデルサイズやアーキテクチャではなく、言語数によって決定される。
• DensRayおよびLDAの両手法が意味のある言語固有部分空間を同定したが、LDAはグローバル平均を用いたクラス分離のため、下流タスクでわずかに優れた性能を示した。