[논문 리뷰] Linear Connectivity Reveals Generalization Strategies

Jeevesh Juneja, Rachit Bansal외 3명|arXiv (Cornell University)|2022. 05. 24.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 NLP 텍스트 분류 작업에서, 미세조정된 모델이 선형 모드 연결성(LMC)을 통해 드러나듯이 서로 다른 일반화 전략(예: 어휘 일치 또는 문법 히وري스틱)에 해당하는 분리된, 연결되지 않은 손실 표면 기저지대를 점유할 수 있음을 밝혀낸다. 이미지 분류와는 달리, 전이 학습이 선형 연결성을 보장하지 않으며, 기저지대 소속은 분포 이탈 진단 세트에서의 성능을 예측할 수 있다.

ABSTRACT

It is widely accepted in the mode connectivity literature that when two neural networks are trained similarly on the same data, they are connected by a path through parameter space over which test set accuracy is maintained. Under some circumstances, including transfer learning from pretrained models, these paths are presumed to be linear. In contrast to existing results, we find that among text classifiers (trained on MNLI, QQP, and CoLA), some pairs of finetuned models have large barriers of increasing loss on the linear paths between them. On each task, we find distinct clusters of models which are linearly connected on the test loss surface, but are disconnected from models outside the cluster -- models that occupy separate basins on the surface. By measuring performance on specially-crafted diagnostic datasets, we find that these clusters correspond to different generalization strategies: one cluster behaves like a bag of words model under domain shift, while another cluster uses syntactic heuristics. Our work demonstrates how the geometry of the loss surface can guide models towards different heuristic functions.

연구 동기 및 목표

• 선형 모드 연결성(LMC)이 NLP 미세조정 모델 전반에 걸쳐 성립하는지 확인하여 컴퓨터 비전에서의 가정에 도전한다.
• 텍스트 분류 작업에서 손실 표면 기저지대가 존재하는지, 그리고 그것이 모델 행동의 기능적 차이와 상관관계가 있는지 규명한다.
• LMC 기하학에 의해 예측된 기저지대 소속이 분포 이탈(OOD) 진단 데이터셋에서의 실제 일반화 성능과 연결되는지 확인한다.
• 학습 동역학과 초기화가 기저지대 선택 및 모델 일반화 전략에 미치는 영향을 탐구한다.
• 선형 프로빙 후 전체 미세조정(LP-FT)과 같은 대체 미세조정 절차가 기저지대 다양성을 줄이고 일반화 균일성을 향상시키는지 평가한다.

제안 방법

• 모델 가중치 벡터 간 선형 보간 경로 상의 최대 손실을 정의하는 볼록성 갭(CG)을 통해 선형 모드 연결성(LMC)을 측정한다.
• CG 행렬의 스펙트럼 공간에 k-means 클러스터링을 적용하여 가중치 공간 내 분리된 기저지대를 식별한다.
• 다양한 랜덤 시드를 사용해 MNLI, QQP, CoLA에서 BERT 및 RoBERTa 기반 모델을 훈련하여 데이터 순서와 헤드 초기화를 다양화한다.
• 분포 이탈 상황에서의 일반화 행동 평가를 위해 진단 데이터셋(HANS-LO, PAWS-QQP 등)에서 모델을 평가한다.
• 기하학적 근접도와 기저지대 소속 간 상관관계를 판단하기 위해 LMC와 유클리드 거리 측정법을 비교한다.
• LP-FT(선형 프로빙 후 전체 미세조정)를 적용하여 기저지대 다양성과 모델 균일성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 이미지 분류에서 관찰된 것과 마찬가지로, 텍스트 분류 작업에서의 다양한 훈련 런에 걸쳐 NLP 미세조정 모델이 선형 연결성을 보이는가?
• RQ2 텍스트 분류기의 손실 표면에는 다수의 분리된 기저지대가 존재하는가? 그리고 그것들이 서로 다른 일반화 전략에 해당하는가?
• RQ3 LMC 기하학에 의해 예측된 기저지대 소속은 분포 이탈 진단 데이터셋에서의 성능과 연결되는가?
• RQ4 훈련 절차(LP-FT 대비 표준 미세조정 등)가 기저지대 다양성과 모델 일반화 행동에 어떤 영향을 미치는가?
• RQ5 유클리드 거리와 볼록성 갭은 기저지대 소속과 모델 기능적 차이에 대해 어느 정도 상관관계가 있는가?

주요 결과

• MNLI, QQP, CoLA와 같은 NLP 작업에서, 미세조정된 모델은 컴퓨터 비전에서의 가정과는 달리 자주 서로 다른, 연결되지 않은 손실 표면 기저지대를 점유한다.
• 동일한 기저지대에 속한 모델들은 진단 데이터셋(HANS-LO 등)에서 유사한 성능를 보이며, 다른 기저지대에 속한 모델들은 일반화 행동에서 상이한 경향을 보인다.
• MNLI에서 한 클러스터는 도메인 이탈 상황에서 어휘 기반 모델처럼 행동하는 반면, 다른 클러스터는 문법 히وري스틱을 사용하여 기능 전략이 상이함을 보인다.
• 볼록성 갭(CG) 측정법은 기저지대 소속을 효과적으로 식별하며, BERT 모델에서는 강한 클러스터링이 관찰되지만 RoBERTa 모델에서는 그렇지 않다.
• LP-FT는 기저지대 다양성과 볼록성 갭 분산을 감소시켜 더 균일한 모델을 만들어내며, 기능적 다양성도 줄인다.
• 유클리드 거리는 기저지대 내에서 CG보다 더 강한 상관관계를 보이며, 이는 기저지대 소속이 가중치 공간 내 기하학적 근접도를 결정함을 시사한다.