[論文レビュー] Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning

Armen Aghajanyan, Luke Zettlemoyer+1 more|arXiv (Cornell University)|Dec 22, 2020

Topic Modeling被引用数 7

ひとこと要約

この論文は、大規模な事前学習済み言語モデルの微調整の有効性が、その低次元埋め込み性（低固有次元性）に起因することを提案している。すなわち、下流のタスクは、モデル全体のパラメータ数よりもはるかに少ないパラメータで最適化可能であるという考えである。著者らは、MRPCで全モデル性能の90％を達成するための微調整に、たった200個のランダムに投影されたパラメータで十分であることを示しており、より大きなモデルは固有次元が低くなる傾向にあり、これが優れた一般化性能を説明している。

ABSTRACT

Although pretrained language models can be fine-tuned to produce state-of-the-art results for a very wide range of language understanding tasks, the dynamics of this process are not well understood, especially in the low data regime. Why can we use relatively vanilla gradient descent algorithms (e.g., without strong regularization) to tune a model with hundreds of millions of parameters on datasets with only hundreds or thousands of labeled examples? In this paper, we argue that analyzing fine-tuning through the lens of intrinsic dimension provides us with empirical and theoretical intuitions to explain this remarkable phenomenon. We empirically show that common pre-trained models have a very low intrinsic dimension; in other words, there exists a low dimension reparameterization that is as effective for fine-tuning as the full parameter space. For example, by optimizing only 200 trainable parameters randomly projected back into the full space, we can tune a RoBERTa model to achieve 90\\% of the full parameter performance levels on MRPC. Furthermore, we empirically show that pre-training implicitly minimizes intrinsic dimension and, perhaps surprisingly, larger models tend to have lower intrinsic dimension after a fixed number of pre-training updates, at least in part explaining their extreme effectiveness. Lastly, we connect intrinsic dimensionality with low dimensional task representations and compression based generalization bounds to provide intrinsic-dimension-based generalization bounds that are independent of the full parameter count.

研究の動機と目的

• 大規模事前学習済み言語モデルの微調整が、膨大なパラメータ数と限られたラベル付きデータにもかかわらず、なぜこれほどうまく一般化するのかを理解すること。
• 微調整の成功が、事前学習表現空間内での下流タスクの低固有次元性に起因するかどうかを調査すること。
• 事前学習が、それ自体が下流タスクに直接アクセスできない状況でも、その固有次元を暗黙的に最小化する方法を調べること。
• 全パラメータ数ではなく固有次元 $ d $ に依存する一般化境界を導出し、モデル一般化の新しい理論的枠組みを提供すること。
• さまざまな事前学習モデルとタスクにおける固有次元性を経験的に測定・比較し、モデルスケールに伴う傾向を明らかにすること。

提案手法

• 全パラメータ空間の低次元部分空間（ランダム射影により生成）を最適化することで、微調整の固有次元性を測定する。
• 小さな数の学習可能なパラメータ（例：200）をランダム射影により全モデルのパラメータ空間にマッピングし、低次元最適化を模擬する。
• 圧縮に基づく一般化境界（Arora et al., 2018）を用い、全パラメータ数 $ D $ ではなく固有次元 $ d $ に依存する境界を導出する。
• 複数の自然言語処理タスクと事前学習モデルを対象に、固有次元と一般化ギャップ、モデル性能の相関関係を調査する。
• 12種類以上の事前学習モデルを対象に経験的分析を行い、モデルサイズと固有次元性の関係を分析する。
• 事前学習を、下流タスクの記述長（すなわち、固有次元）を暗黙的に最小化するものとして解釈し、NLPタスクのための圧縮フレームワークとして位置づける。

実験結果

リサーチクエスチョン

• RQ1 大規模事前学習済み言語モデルの微調整は、有効パラメータ数が非常に少ない場合でも、ほぼ最適な性能を達成できるか？
• RQ2 事前学習が下流タスクの固有次元を暗黙的に低減させているか？ もしそうなら、それはモデル性能とどのように関係しているか？
• RQ3 モデルサイズと固有次元性の間に相関関係があるか？ もし存在するなら、それがより大きなモデルの優れた性能を説明できるか？
• RQ4 固有次元性が、全モデルパラメータ数とは無関係な一般化境界の根拠として機能できるか？
• RQ5 多様なNLPベンチマークにおいて、固有次元性は一般化ギャップや下流タスクの精度とどのように関係しているか？

主な発見

• RoBERTaモデルを、200個のランダムに投影されたパラメータのみで微調整した場合、MRPCデータセットで全微調整性能の90％に達する。
• モデルサイズと固有次元性の間には強い逆相関関係がある：より大きな事前学習モデルは、特に固定回数の事前学習更新後、固有次元が低くなる傾向にある。
• さまざまなタスクにおいて、固有次元が低いほど評価精度が高く、相対的一般化ギャップが小さくなる傾向がある。
• 固有次元 $ d $ に基づく圧縮に基づく一般化境界は、$ ilde{O}( ext{sqrt}(d/m)) $ のように成長するが、全モデルパラメータ数 $ D $ とは無関係である。ここで $ m $ は学習サンプル数を表す。
• 事前学習プロセスは、下流タスクの記述長（固有次元）を暗黙的に最小化しており、NLPタスクのための圧縮フレームワークとして機能している。
• 経験的結果から、モデルサイズだけではなく、固有次元性が一般化を予測する上でより有用であることが示された。低固有次元は一貫して良好な一般化性能と関連している。