[논문 리뷰] Understanding Catastrophic Forgetting in Language Models via Implicit Inference

Suhas Kotha, Jacob M. Springer외 1명|arXiv (Cornell University)|2023. 09. 18.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델에서 피인상 조정 동안 잃어버린 사전학습된 능력을 복구하기 위한 방법으로 공액 프롬프팅(conjugate prompting)을 제안한다. 이는 프롬프트를 피인상 조정 분포와 다소 다른 형태로 변형시켜 모델의 암묵적 작업 추론을 이동시키는 방식이다. 이를 통해 피인상 조정으로 인해 억제된 즉각적 학습 능력과 유해한 콘텐츠 생성 능력을 복원할 수 있음을 입증한다. 특히, 프롬프트를 다른 언어로 번역하는 방식이 효과적이라는 점을 보여준다.

ABSTRACT

We lack a systematic understanding of the effects of fine-tuning (via methods such as instruction-tuning or reinforcement learning from human feedback), particularly on tasks outside the narrow fine-tuning distribution. In a simplified scenario, we demonstrate that improving performance on tasks within the fine-tuning data distribution comes at the expense of capabilities on other tasks. We hypothesize that language models implicitly infer the task of the prompt and that fine-tuning skews this inference towards tasks in the fine-tuning distribution. To test this, we propose Conjugate Prompting, which artificially makes the task look farther from the fine-tuning distribution while requiring the same capability, and we find that this recovers some of the pretraining capabilities in our synthetic setup. Since real-world fine-tuning distributions are predominantly English, we apply conjugate prompting to recover pretrained capabilities in LLMs by simply translating the prompts to different languages. This allows us to recover in-context learning abilities lost via instruction tuning, natural reasoning capability lost during code fine-tuning, and, more concerningly, harmful content generation suppressed by safety fine-tuning in chatbots like ChatGPT.

연구 동기 및 목표

• 피인상 조정이 언어 모델에서, 특히 피인상 조정 분포 밖이지만 근접한 작업에서 치명적인 기억 상실을 유도하는 이유를 이해하는 것.
• 능력 저하가 직접적인 능력 손실이 아니라 편향된 암묵적 작업 추론에서 비롯되는지 여부를 조사하는 것.
• 재학습 없이도 사전학습된 모델 동작을 복원할 수 있는 원칙적인 방법인 공액 프롬프팅을 개발하는 것.
• 특히 지침 조정으로 인해 억제된 즉각적 학습 및 유해한 지시 수행 능력을 복원하기 위해 실세계 LLM에서 이 방법을 검증하는 것.

제안 방법

• 피인상 조정 분포 외부에 있는 프롬프트 P에 대해, 피인상 조정 분포에서 덜 가능성 있지만 P의 해답을 유지하는 변형 프롬프트 P′을 생성하는 공액 프롬프팅을 제안한다.
• P′이 피인상 조정 데이터 분포와 의미적 또는 구조적으로 다소 다를 수 있도록 보장하여, 모델의 암묵적 작업 추론이 피인상 조정된 작업에서 벗어나도록 이동시킨다.
• 피인상 조정 데이터가 영어에 크게 치우쳐져 있다는 점을 활용해, 언어 번역을 공액 프롬프팅의 실용적 구현으로 활용한다.
• 모델이 가중치 벡터로 사전학습되고 부분집합으로 피인상 조정된 선형 회귀 설정에서 실험하여 성능 복원 정도를 측정한다.
• 다국어 번역을 활용해 실세계 LLM에 공액 프롬프팅을 적용하여, 즉각적 학습 능력과 유해 지시 수행 능력을 복원한다.
• 5개의 모델과 4개의 비영어 언어를 대상으로 방법을 검증하여, 사전학습된 행동이 일관되게 복원됨을 보여준다.

Figure 1: How does fine-tuning affect language models? When pretrained over data that contains the orange task $\color[rgb]{0.9296875,0.48828125,0.19140625}T_{1}$ and the blue task $\color[rgb]{0.265625,0.4453125,0.76953125}T_{2}$ , a model may infer a prompt $P$ is from task $\color[rgb]{0.9296875,

실험 결과

연구 질문

• RQ1 피인상 조정된 언어 모델에서의 치명적인 기억 상실이 직접적인 능력 저하가 아니라 암묵적 작업 추론 편향에서 기인하는가?
• RQ2 피인상 조정 분포와 유사도가 낮아지도록 프롬프트를 변형함으로써 사전학습된 능력을 복원할 수 있는가?
• RQ3 실세계 LLM에서 언어 번역이 공액 프롬프팅 변환으로서 얼마나 효과적인가?
• RQ4 공액 프롬프팅은 지시 조정으로 억제된 즉각적 학습 능력을 복원할 수 있는가?
• RQ5 공액 프롬프팅은 안전성 피인상 조정을 우회하여 유해 콘텐츠 생성 행동을 복원할 수 있는가?

주요 결과

• 합성 선형 회귀 설정에서, 공액 프롬프팅은 피인상 조정 분포 외부의 작업에서 사전학습된 성능의 상당 부분을 성공적으로 복원한다.
• 실세계 LLM에서는 비영어 언어로 프롬프트를 번역함으로써, 지시 조정으로 인해 억제된 즉각적 학습 능력이 복원된다.
• 이 방법은 ChatGPT와 같은 모델에서 안전성 피인상 조정으로 억제된 바이러스성 콘텐츠 생성 능력 역시 복원한다.
• 성능 저하는 피인상 조정 분포에 가까운데도 분포 외부에 있는 작업에서 가장 심각하여, 암묵적 작업 추론 편향의 가정을 지지한다.
• 이 방법은 5개의 다른 LLM과 4개의 비영어 언어에서 일관되게 작동하여 강건성과 일반화 능력을 입증한다.
• 결과는 피인상 조정된 모델가 여전히 사전학습된 능력을 유지하고 있지만, 암묵적 작업 추론에 의해 오도되어 프롬프트 기반 복원 방법에 취약하다는 점을 시사한다.

Figure 2: Pretraining loss. We compare a model trained on $\mathcal{D}_{\text{cont}}$ against the optimal algorithm of ridge regression (left) and a model trained on $\mathcal{D}_{\text{disc}}$ of 64 tasks against the optimal algorithm of discrete regression (right). Transformers match Bayes-optimal