[논문 리뷰] A Tale of Tails: Model Collapse as a Change of Scaling Laws

Elvis Dohmatob, Yunzhen Feng외 3명|arXiv (Cornell University)|2024. 02. 10.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델에서 모델 콜라프스가 합성 데이터 비율 증가 시 변화하는 스케일링 법칙과 연결되는 이론적 프레임워크를 제안한다. AI가 생성한 데이터가 천연 데이터 분포의 꼬리 부분을 잘라내거나 좁히는 방식으로 영향을 주는 것을 분석함으로써, 저자들은 스케일링 법칙이 파wer-법칙 행동을 상실함으로써 악화됨을 입증하며, 이는 성능 저하, 기술 재학습 상실, 최종적으로는 모델 콜라프스로 이어진다는 것을 보여준다. 이는 Llama2와 산술 작업을 위한 트랜스포머 모델에서 수행한 대규모 실험을 통해 검증되었다.

ABSTRACT

As AI model size grows, neural scaling laws have become a crucial tool to predict the improvements of large models when increasing capacity and the size of original (human or natural) training data. Yet, the widespread use of popular models means that the ecosystem of online data and text will co-evolve to progressively contain increased amounts of synthesized data. In this paper we ask: How will the scaling laws change in the inevitable regime where synthetic data makes its way into the training corpus? Will future models, still improve, or be doomed to degenerate up to total (model) collapse? We develop a theoretical framework of model collapse through the lens of scaling laws. We discover a wide range of decay phenomena, analyzing loss of scaling, shifted scaling with number of generations, the ''un-learning" of skills, and grokking when mixing human and synthesized data. Our theory is validated by large-scale experiments with a transformer on an arithmetic task and text generation using the large language model Llama2.

연구 동기 및 목표

• 훈련 데이터에 점점 더 많은 합성 데이터가 포함될 경우 대규모 언어 모델의 스케일링 법칙이 어떻게 변화하는지 이해하는 것.
• 훈련 분포 내에서 합성 데이터로부터 기인하는 모델 콜라프스가 발생하는 메커니즘—예를 들어 꼬리 부분 잘림과 좁힘—을 조사하는 것.
• 출현 기술의 상실 및 파워-법칙 스케일링을 유지하지 못하는 등의 성능 저하를 분석하는 것.
• Llama2와 산술 작업을 위한 트랜스포머 모델에서 대규모 실험을 통해 이론적 예측을 검증하는 것.
• 합성 데이터와 천연 데이터를 혼합했을 때 그로킹 또는 성능 회복이 발생할 수 있는 조건을 탐색하는 것.

제안 방법

• 중심 꼬리 분포(예: 지프 법칙)를 가진 입력 분포 하에서 스케일링 법칙의 이론적 분석과 AI 생성에 의해 잘린 또는 좁아진 분포에서의 법칙 붕괴 분석.
• 톱-p(핵심) 샘플링과 온도 조정을 통한 AI 생성 모델링으로, 다음 토큰 분포의 꼬리 부분을 체계적으로 잘라내거나 좁히는 방식.
• 이전 모델에서 유도된 합성 데이터의 순차적 생성을 통해 반복적인 합성 데이터 축적을 시뮬레이션하기 위해 Wikitext-103 청크에 맞춘 Llama2-7B의 피나이팅.
• 시험 세트에서의 교차 엔트로피 손실과 퍼플렉서티를 통해 성능 저하를 추적하며, 세대 간 및 데이터 혼합 비율에 따른 모델 간 비교.
• 제어된 데이터 혼합(예: 90% 합성, 10% 천연)을 도입하여 회복 현상과 그로킹 효과를 연구하는 것.
• 꼬리 부분 좁힘이 시퀀스 수준 메트릭(예: 퍼플렉서티)에 미치는 조합적 영향 분석으로, 꼬리 부분 좁힘이 허위 성능 저하를 유도함을 보여주는 것.

실험 결과

연구 질문

• RQ1 LLM를 통해 생성된 합성 데이터의 포함이 후속 모델의 스케일링 법칙에 어떻게 영향을 미치는가?
• RQ2 합성 데이터로 훈련된 모델에서 스케일링 행동이 악화되는 원인으로서의 꼬리 부분 잘림 또는 꼬리 부분 좁힘 중 어느 것이 주요한가?
• RQ3 훈련 데이터 분포의 통계적 성질 변화를 통해 모델 콜라프스를 예측하고 설명할 수 있는가?
• RQ4 합성 데이터와 천연 데이터를 혼합했을 때 성능 복구(예: 그로킹)가 발생할 수 있는 조건은 무엇인가?
• RQ5 모델 훈련이 합성 데이터로 이격될수록 출현 기술, 예를 들어 산술 추론과 같은 능력이 어느 정도 저하되거나 사라지는가?

주요 결과

• 톱-p 샘플링과 온도 조정을 통한 합성 데이터 생성은 천연 데이터 분포의 꼬리 부분을 체계적으로 잘라내거나 좁히며, 이는 모델 향상에 필수적인 파워-법칙 스케일링 행동을 방해한다.
• 합성 데이터의 세대가 누적될수록 스케일링 법칙이 악화된다: 테스트 손실이 데이터 크기와의 관계에서 파워-법칙 감소를 더 이상 따르지 않으며, 이는 성능 정체 또는 감소로 이어진다.
• 다수의 합성 데이터 세대를 훈련한 모델은 희귀하지만 핵심적인 데이터 패tern의 상실로 인해 출현 기술(예: 산술 추론)을 상실한다.
• Llama2-7B 실험 결과, 데이터가 점점 더 합성화될수록 명백한 성능 저하가 관찰되며, 손실은 증가하고 퍼플렉서티는 상승한다.
• 합성 데이터와 천연 데이터를 90:10 비율로 혼합하면 성능 복구 효과가 나타나는 그로킹 유사 현상이 관찰되며, 이는 소량의 천연 데이터가 스케일링 행동을 복원할 수 있음을 시사한다.
• 이론적 분석은 다음 토큰 분포의 꼬리 부분 좁힘이 직접적인 데이터 분포 이동 없이도 시퀀스 수준 메트릭(예: 퍼플렉서티)에 조합적 악화를 유도함을 확인한다.