[論文レビュー] Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models

Karolina Stańczak, Edoardo Maria Ponti+3 more|arXiv (Cornell University)|May 4, 2022

Topic Modeling被引用数 2

ひとこと要約

この論文は、多言語の事前学習モデルが、言語間で共通するニューロンのサブセットに、性、格、時制などの屈曲文法的情報をエンコードしているかどうかを調査する。43言語に対して最先端の潜在変数ニューロンプローブを用い、屈曲文法的カテゴリに関して顕著な言語間ニューロンの重なりが見られ、特に言語が近縁の場合は、および事前学習データ量が多い場合には顕著である。これは、共通する神経表現を通じて、モデルが普遍的な文法的抽象概念を学習していることを示唆している。

ABSTRACT

The success of multilingual pre-trained models is underpinned by their ability to learn representations shared by multiple languages even in absence of any explicit supervision. However, it remains unclear how these models learn to generalise across languages. In this work, we conjecture that multilingual pre-trained models can derive language-universal abstractions about grammar. In particular, we investigate whether morphosyntactic information is encoded in the same subset of neurons in different languages. We conduct the first large-scale empirical study over 43 languages and 14 morphosyntactic categories with a state-of-the-art neuron-level probe. Our findings show that the cross-lingual overlap between neurons is significant, but its extent may vary across categories and depends on language proximity and pre-training data size.

研究の動機と目的

• 多言語事前学習モデルが、言語間で同じニューロンサブセットに屈曲文法的特徴をエンコードしているかどうかを調査し、ゼロショット言語間転移のメカニズムを示唆すること。
• モデルが語彙的重複がなくても、同等の屈曲文法的機能に対応するニューロンを整列させることで、言語に依存しない文法的抽象概念を学習しているという仮説を検証すること。
• 言語のタイプ的類似性、事前学習データ量、モデルアーキテクチャなどの要因がニューロンの重なりに与える影響を検討すること。
• 多言語表現における言語間神経的エンタングルメントの程度と構造に関する実証的証拠を提供すること。
• ニューロンの重なりがゼロショット転移性能およびモデルの解釈可能性に与える影響を検討すること。

提案手法

• 研究では、Sta{\'c}czak ら（2022）の潜在変数プローブを用い、各言語の各屈曲文法的カテゴリに対して最も情報量の多い k 個のニューロンサブセットを同定する。
• プローブは、すべてのニューロンサブセットに対するマージナル化を近似するための変分下界を用い、変分分布のポissonサンプリングスキームにより、計算を効率化する。
• ニューロンサブセットは、後方分布の最大化に基づき選択される：C* = argmax_C log pθ(C | D)。組み合わせ的困難性のため、グリーディサーチが用いられる。
• この手法は、m-BERT、XLM-R-base、XLM-R-largeに適用され、UniMorphアノテーション付きのUniversal Dependencies 2.1の43言語に対して、屈曲文法的特徴をプローブする。
• 言語対間のトップ-k ニューロンセット間のジャカード類似度として、言語間ニューロンの重なりを測定し、統計的有意性はホルム＝ボンフェローニ補正により評価される。
• ニューロンの重なりと (a) カテゴリごとの値の数、(b) タイポロジカル類似性（Littell et al., 2017）、(c) 事前学習データ量（XLM-R では CC-100、m-BERT では Wikipedia）との間の相関分析が実施される。

実験結果

リサーチクエスチョン

• RQ1 多言語事前学習モデルは、性や時制といった同じ屈曲文法的特徴を、異なる言語間で重複するニューロンサブセットにエンコードしているか？
• RQ2 ニューロンの重なりの程度は、値のインベントリが大きいカテゴリにおいてどのように変化するか、特にそのようなカテゴリにおいては？
• RQ3 言語の近縁性（例：同じ言語系統）および事前学習データ量が、ニューロンの重なりにどの程度影響を及ぼすか？
• RQ4 モデルサイズ（例：XLM-R-base と XLM-R-large）は、言語間ニューロンエンタングルメントの程度に影響を及えるか？
• RQ5 ニューロンの重なりとタイプ的類似性、または事前学習データ量との間に、統計的相関が認められるか？

主な発見

• 43言語にわたり14の屈曲文法的カテゴリで顕著な言語間ニューロンの重なりが観察され、XLM-R-base では最も重なりの大きい言語対で平均44%、XLM-R-large では41%に達する。
• 値の数が少ないカテゴリ、例えば「生体性（animacy）」（XLM-R-base で平均64%）ではニューロンの重なりが最も高く、値の数が増えるにつれて低下する。これは、表現力と言語間整合性の間のトレードオフを示唆している。
• 同じ系統に属する言語、あるいは類似したタイプ的特徴を持つ言語では、顕著に高いニューロンの重なりが見られ、XLM-R-base では65%の重なりニューロンペアが同じ系統に属している。
• 事前学習データ量とニューロンの重なりには強い相関がある（XLM-R-base でスピアマンの ρ = 0.59）。これは、より大きな事前学習データが、よりエンタングルされ、再利用可能な表現を生み出すことを示唆している。
• より大きなモデルアーキテクチャ（例：XLM-R-large）は、より小さなモデル（例：XLM-R-base）よりもニューロンの重なりが少ない。これは、能力の増加が言語間圧縮とエンタングルメントを減少させる可能性を示唆している。
• ニューロンの重なりとタイプ的類似性の間には、正の有意な相関がある（平均 ρ = 0.31）。特に、生体性や性といった、特定の言語系統に限定されるカテゴリで顕著である。