[論文レビュー] Emergence of Separable Manifolds in Deep Language Representations

Jonathan Mamou, Hang Le+5 more|arXiv (Cornell University)|Jun 1, 2020

Topic Modeling参考文献 38被引用数 11

ひとこと要約

本稿では、平均場理論的多様体解析を用いて、深層言語モデルにおける言語的表現の幾何的進化を分析し、品詞やその他の言語的多様体が層を経て次第に線形分離可能になることが明らかになった。特に、マスクされた文脈的予測的状態において顕著である。この現象は、多様体の半径、次元数、多様体間相関の低下によって駆動されており、文脈化が曖昧な言語的カテゴリーの分離を可能にしていることを示している。

ABSTRACT

Deep neural networks (DNNs) have shown much empirical success in solving perceptual tasks across various cognitive modalities. While they are only loosely inspired by the biological brain, recent studies report considerable similarities between representations extracted from task-optimized DNNs and neural populations in the brain. DNNs have subsequently become a popular model class to infer computational principles underlying complex cognitive functions, and in turn, they have also emerged as a natural testbed for applying methods originally developed to probe information in neural populations. In this work, we utilize mean-field theoretic manifold analysis, a recent technique from computational neuroscience that connects geometry of feature representations with linear separability of classes, to analyze language representations from large-scale contextual embedding models. We explore representations from different model families (BERT, RoBERTa, GPT, etc.) and find evidence for emergence of linguistic manifolds across layer depth (e.g., manifolds for part-of-speech tags), especially in ambiguous data (i.e, words with multiple part-of-speech tags, or part-of-speech classes including many words). In addition, we find that the emergence of linear separability in these manifolds is driven by a combined reduction of manifolds' radius, dimensionality and inter-manifold correlations.

研究の動機と目的

• 深層文脈的言語表現における言語的多様体（品詞、固有語、意味的意味など）がどのように出現するかを調査すること。
• BERT、RoBERTa、GPTなどのTransformerベースのモデルにおけるこれらの多様体の幾何的進化を分析すること。
• 文脈化（マスク済み vs. マスクされていないトークン）が言語的多様体の線形分離可能性に果たす役割を特定すること。
• ファインチューニングやタスク移行中に、多様体容量（線形分離可能性の尺度）がどのように変化するかを定量化すること。
• 計算神経科学の手法を用いて、NLPモデルにおける表現構造と情報含量の幾何的関連を確立すること。

提案手法

• 本研究では、計算神経科学の手法である平均場理論的多様体解析（MFTMA）を採用し、クラス多様体の線形分離可能性をその「破壊容量」によって定量化する。
• 多様体容量は、モデルの各層における言語的カテゴリー（例：品詞タグ）の半径、次元数、多様体間相関の関数として計算される。
• 分析は、マスク済みおよびマスクされていないトークンにおける事前学習済みおよびファインチューニング済みのBERT、RoBERTa、GPTモデルの表現に適用された。
• この手法により、予測的（マスク済み）および文脈的（マスクされていない）状態における多様体幾何の比較が可能になり、異なる分離ダイナミクスが明らかになった。
• ファインチューニングのダイナミクスは、品詞タグ付けの学習中に多様体容量の進化を測定することで追跡され、他の言語的タスクへの移行性も評価された。
• この手法により、タスク固有の学習がプローブ精度を超えて表現の幾何的構造にどのように影響を与えるかを調査することが可能になった。

実験結果

リサーチクエスチョン

• RQ1 品詞などの言語的カテゴリーの線形分離可能な多様体が深層言語表現に出現するか。もしそうなら、ネットワーク階層のどこに出現するか？
• RQ2 予測的（マスク済み）と文脈的（マスクされていない）表現における言語的多様体の線形分離性には、どのような違いがあるか？
• RQ3 多様体の半径、次元数、多様体間相関といった幾何的要因のうち、どの要因が文脈的言語モデルにおける分離可能な多様体の出現を駆動しているか？
• RQ4 品詞タグ付けのような言語的タスクにおけるファインチューニングが、さまざまな言語的カテゴリーにおける言語的多様体の幾何にどのように影響を与えるか？
• RQ5 言語的カテゴリーの多様体容量が、下流タスクのパフォーマンスとどの程度相関しているか？

主な発見

• マスク済みの予測的状態では、層を経て多様体容量が増加しており、言語的多様体の線形分離性が進行していることが示唆される。特に、複数の品詞タグを持つ曖昧な語において顕著である。
• マスクされていない文脈的表現では、語の多様体は分離性を失う（多様体容量が低下する）が、品詞のような言語的多様体は文脈化により恩恵を受け、有効な分離性が向上する。
• 線形分離可能な品詞多様体の出現は、語が曖昧な場合に顕著であり、文脈化が幾何的分離によって多義性を解消していることを示唆している。
• 多様体容量の増加は、特徴量の分散の増加ではなく、多様体半径、次元数、多様体間相関の低下によって駆動されている。
• 品詞タグ付けにおけるファインチューニングは、マスクされていない表現において品詞や他の言語的タグ（例：NER、意味的タグ）の多様体容量を向上させ、タスク誘発的な幾何的精錬が生じていることを示している。
• 品詞タグ付けのファインチューニング後も、マスクされた表現はほとんど変化せず、予測ヘッドがタスク固有の適応によって顕著に変化していないことが示された。