[論文レビュー] Linear Connectivity Reveals Generalization Strategies

Jeevesh Juneja, Rachit Bansal+3 more|arXiv (Cornell University)|May 24, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿は、NLPのテキスト分類タスクにおいて、微調整されたモデルが、線形モード接続性（LMC）を通じて特定され、異なる一般化戦略（語彙的オーバーラップや文法的ヒューリスティクスなど）に対応する、分離された非連結な損失関数の谷底領域に位置することを明らかにした。画像分類とは異なり、トランスファー学習が線形接続性を保証するわけではない。また、谷底領域への所属関係は、分布外診断データセットにおける性能を予測できる。

ABSTRACT

It is widely accepted in the mode connectivity literature that when two neural networks are trained similarly on the same data, they are connected by a path through parameter space over which test set accuracy is maintained. Under some circumstances, including transfer learning from pretrained models, these paths are presumed to be linear. In contrast to existing results, we find that among text classifiers (trained on MNLI, QQP, and CoLA), some pairs of finetuned models have large barriers of increasing loss on the linear paths between them. On each task, we find distinct clusters of models which are linearly connected on the test loss surface, but are disconnected from models outside the cluster -- models that occupy separate basins on the surface. By measuring performance on specially-crafted diagnostic datasets, we find that these clusters correspond to different generalization strategies: one cluster behaves like a bag of words model under domain shift, while another cluster uses syntactic heuristics. Our work demonstrates how the geometry of the loss surface can guide models towards different heuristic functions.

研究の動機と目的

• 線形モード接続性（LMC）が、コンピュータビジョンから得られた仮定とは異なり、微調整されたNLPモデルの間でも成立するかを調査すること。
• テキスト分類タスクにおける損失関数の谷底領域が複数存在するか、およびそれらがモデル挙動の機能的差異と相関するかを特定すること。
• LMCの幾何的性質によって予測される谷底領域への所属関係が、分布外（OOD）診断データセットにおける実世界の一般化性能とどのように関連するかをリンクすること。
• 訓練のダイナミクスと初期化が、谷底領域選択およびモデル一般化戦略に与える影響を調査すること。
• 線形プロービングの後に完全微調整を行う代替微調整手順（LP-FT）が、谷底領域の多様性を低減させ、一般化の一貫性を向上させるかを評価すること。

提案手法

• 線形補間路における損失の最大値として定義される凸性ギャップ（CG）を用いて、線形モード接続性（LMC）を測定する。
• CG行列のスペクトル空間にk-meansクラスタリングを適用し、重み空間における明確に分離された谷底領域（吸引域）を同定する。
• 異なる乱数シードを用いて、MNLI、QQP、CoLAでBERTおよびRoBERTaベースのモデルを複数回訓練し、データ順序とヘッド初期化を変化させる。
• HANS-LO、PAWS-QQPなど、診断データセットを用いて、分布シフト下での一般化挙動を評価する。
• 幾何的近接性が谷底領域への所属関係と相関するかを確認するため、LMCとユークリッド距離の両方の指標を比較する。
• 谷底領域の多様性とモデルの一貫性に与える影響を評価するため、LP-FT（線形プロービングの後に完全微調整）を適用する。

実験結果

リサーチクエスチョン

• RQ1 画像分類と同様に、テキスト分類タスクにおける微調整済みNLPモデルが、異なるトレーニング実行間で線形接続性を示すか。
• RQ2 テキスト分類器の損失関数に複数の非連結な谷底領域が存在するか。また、それらが異なる一般化戦略に対応するか。
• RQ3 LMCの幾何的性質によって予測される谷底領域への所属関係が、分布外診断データセットにおける性能と結びつくか。
• RQ4 訓練手順（例：LP-FT対標準的な微調整）が、谷底領域の多様性およびモデル一般化挙動に与える影響は。
• RQ5 ユークリッド距離と凸性ギャップは、谷底領域への所属関係およびモデルの機能的差異とどの程度相関するか。

主な発見

• MNLI、QQP、CoLAなどのNLPタスクにおいて、微調整済みモデルは頻繁に分離された非連結な谷底領域に位置し、コンピュータビジョンからの仮定と矛盾する。
• 同じ谷底領域に属するモデルは、診断データセット（例：HANS-LO）で類似した性能を示すが、異なる谷底領域に属するモデルは一般化挙動が著しく異なる。
• MNLIにおいて、あるクラスタはドメインシフト下でボトムアップ・オブ・ワードモデルのように振る舞い、別のクラスタは文法的ヒューリスティクスを用いるため、機能的戦略が明確に異なる。
• 凸性ギャップ（CG）指標は谷底領域への所属関係を効果的に特定でき、BERTモデルでは強いクラスタリングが観察されたが、RoBERTaモデルでは観察されなかった。
• LP-FTは谷底領域の多様性と凸性ギャップの分散を低減させ、機能的差異が少ないより一貫性のあるモデルをもたらした。
• ユークリッド距離は、谷底領域内ではCGよりも強い相関を示し、谷底領域への所属関係が重み空間における幾何的近接性を規定していることを示唆している。