[논문 리뷰] Mechanistically analyzing the effects of fine-tuning on procedurally defined tasks

Samyak Jain, Robert Kirk외 6명|arXiv (Cornell University)|2023. 11. 21.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 Tracr 기반 트랜스포머와 PCFG를 사용해 합성적이고 절차적으로 정의된 작업을 통해 사전 훈련된 모델의 능력이 파인튜닝 과정에서 어떻게 변화하는지 기계적 분석을 수행한다. 연구 결과, 파인튜닝은 일반적으로 기존 능력 위에 최소한의 '워핑(wrapper)' 변환을 학습할 뿐, 능력을 수정하지 않는 것으로 나타났으며, 이러한 기본 능력은 잘라내기(pruning)를 통해 빠르게 복원될 수 있다. 이는 파인튜닝 과정에서 안전 장치가 의도치 않게 비활성화될 수 있음을 시사한다.

ABSTRACT

Fine-tuning large pre-trained models has become the de facto strategy for developing both task-specific and general-purpose machine learning systems, including developing models that are safe to deploy. Despite its clear importance, there has been minimal work that explains how fine-tuning alters the underlying capabilities learned by a model during pretraining: does fine-tuning yield entirely novel capabilities or does it just modulate existing ones? We address this question empirically in synthetic, controlled settings where we can use mechanistic interpretability tools (e.g., network pruning and probing) to understand how the model's underlying capabilities are changing. We perform an extensive analysis of the effects of fine-tuning in these settings, and show that: (i) fine-tuning rarely alters the underlying model capabilities; (ii) a minimal transformation, which we call a 'wrapper', is typically learned on top of the underlying model capabilities, creating the illusion that they have been modified; and (iii) further fine-tuning on a task where such hidden capabilities are relevant leads to sample-efficient 'revival' of the capability, i.e., the model begins reusing these capability after only a few gradient steps. This indicates that practitioners can unintentionally remove a model's safety wrapper merely by fine-tuning it on a, e.g., superficially unrelated, downstream task. We additionally perform analysis on language models trained on the TinyStories dataset to support our claims in a more realistic setup.

연구 동기 및 목표

• 사전 훈련된 모델의 기본 능력이 안전성 및 정렬의 맥락에서 파인튜닝 과정에서 어떻게 변화하는지 이해하는 것.
• 파인튜닝이 사전 훈련된 모델 능력을 수정하는지, 아니면 단지 새로운 변환 계층을 추가하는지 조사하는 것.
• 사전 훈련된 능력이 재훈련 없이도 파인튜닝 이후에 복원될 수 있는지 평가하는 것.
• 잘라내기나 탐사(probing)와 같은 구조적 간섭에 대한 파인튜닝된 모델의 강건성 평가.
• 약한 또는 강한 관련성이 있는 사전 훈련된 능력을 가진 모델에서 파인튜닝의 영향을 분석하는 것.

제안 방법

• 확률적 문맥 자유 문법(PCFG)을 사용해 절차적으로 생성된 작업에 대해 훈련된 Tracr 기반 모델을 활용해 해석 가능한 합성 환경을 구축한다.
• 잘라내기를 통해 파인튜닝이 유도한 최소한의 구조적 변화를 식별하고 고립한다.
• 선형 탐사를 적용해 파인튜닝 이후 사전 훈련된 능력의 유지 및 접근성 수준을 측정한다.
• 학습률과 하류 데이터셋 내 임의의 상관관계 유무 등 다양한 파인튜닝 초모수를 비교한다.
• 사전 훈련된 능력이 하류 목표에 대해 강하게 또는 약하게 관련성이 있는 작업에 대해 모델을 파인튜닝한 후 분석한다.
• 특정 능력, 예를 들어 세는 능력 또는 발생 위치 인덱스 계산 등에 영향을 미치는 파인튜닝의 효과를 격리하기 위해 통제된 환경을 사용한다.

실험 결과

연구 질문

• RQ1 파인튜닝은 사전 훈련 과정에서 학습된 기본 능력을 근본적으로 변화시키는가, 아니면 단지 변환 계층을 추가하는가?
• RQ2 사전 훈련된 능력은 파인튜닝 이후 얼마나 유지되거나 억제되는가?
• RQ3 잘라내기와 같은 구조적 간섭을 통해 파인튜닝 이후 사전 훈련된 능력을 복원할 수 있는가?
• RQ4 사전 훈련된 능력의 관련성(강한 vs. 약한)이 파인튜닝된 모델의 구조에 어떤 영향을 미치는가?
• RQ5 파인튜닝 데이터에 존재하는 허위 상관관계가 억제성 워핑의 발생에 어떤 역할을 하는가?

주요 결과

• 파인튜닝은 일반적으로 기존 모델 능력을 수정하지 않으며, 대신 기존 능력 위에 최소한의 변환, 즉 '워핑(wrapper)'을 학습하는 경우가 대부분이다.
• 워핑은 잘라내기로 입증된 바와 같이 매우 局소적이다: 몇 개의 뉴런이나 가중치만 제거해도 원래의 사전 훈련된 능력이 복원된다.
• 파인튜닝 이후 사전 훈련된 능력은 매우 빠르게 복원될 수 있으며, 몇 개의 경사 하강 스텝만으로도 재활성화될 수 있어, 구조적으로 그대로 유지되어 있음을 시사한다.
• 약한 관련성이 있는 사전 훈련된 능력을 가진 모델도 파인튜닝 후에도 여전히 사전 훈련된 작업을 수행할 수 있으며, 이는 탐사와 잘라내기를 통해 확인되었다.
• 낮은 학습률로 파인튜닝할 경우, 사전 훈련된 능력을 억제하는 '억제제(inhibitor)'를 학습할 수 있지만, 이는 잘라내기를 통해 뒤집을 수 있다.
• 탐사 결과, 높은 학습률로 파인튜닝한 모델는 사전 훈련된 능력(예: 'a'의 개수 세기)에 접근을 잃는 반면, 낮은 학습률로 파인튜닝한 모델는 특히 사전 훈련된 능력이 강하게 관련성이 있을 경우 이를 유지한다.