[논문 리뷰] Transcendence: Generative Models Can Outperform The Experts That Train Them

Edwin Zhang, Vincent Zhu외 6명|arXiv (Cornell University)|2024. 06. 17.

Philosophy and History of ScienceArts and Humanities인용 수 3

한 줄 요약

이 논문은 인간이 생성한 체크게임 데이터를 학습한 자동회귀형 트랜스포머 모델이 훈련 데이터 내 모든 개별 인간 전문가를 초월하는 '초월성(Transcendence)'이라는 현상을 소개한다. 저온 샘플링을 활용해 다양한 전문가 행동에 대한 암묵적 다수결 투표를 수행함으로써 모델은 오류를 노이즈 제거하고 향상된 성능을 달성하며, 이는 1500점 이하의 등급을 가진 체크게임 데이터셋을 대상으로 실증적으로 검증되었다.

ABSTRACT

Generative models are trained with the simple objective of imitating the conditional probability distribution induced by the data they are trained on. Therefore, when trained on data generated by humans, we may not expect the artificial model to outperform the humans on their original objectives. In this work, we study the phenomenon of transcendence: when a generative model achieves capabilities that surpass the abilities of the experts generating its data. We demonstrate transcendence by training an autoregressive transformer to play chess from game transcripts, and show that the trained model can sometimes achieve better performance than all players in the dataset. We theoretically prove that transcendence can be enabled by low-temperature sampling, and rigorously assess this claim experimentally. Finally, we discuss other sources of transcendence, laying the groundwork for future investigation of this phenomenon in a broader setting.

연구 동기 및 목표

• 생성 모델에서 '초월성' 현상을 정식화하는 것 — 즉, 훈련 데이터 내 최고의 개별 전문가를 초월하는 모델 성능.
• 저온 샘플링이 다양한 전문가 행동에 대한 암묵적 다수결 투표를 가능하게 하여 오류를 줄이고 성능을 향상시키는 방식을 탐구하는 것.
• 온도 조절을 통한 앙상블 유사 평균화의 노이즈 제거 효과가 초월성의 근본 원인임을 이론적·실증적으로 검증하는 것.
• 효과적인 초월성을 위해 데이터셋의 다양성이 얼마나 중요한지 분석하여, 동질적이거나 다양성이 낮은 데이터는 성능 향상을 방해함을 보여주는 것.
• 체스를 넘어서 자연어 처리 및 비전 분야 등 더 넓은 영역에서 초월성 현상을 연구하기 위한 이론적·실증적 기반을 마련하는 것.

제안 방법

• 공개된 체크게임 전적 데이터를 기반으로 자동회귀형 트랜스포머(ChessFormer)를 훈련시키며, 훈련 데이터는 특정 등급 기준 이하의 플레이어(예: 1000, 1300, 1500)로 제한한다.
• 추론 시 저온 샘플링을 사용하여 고확률 이동을 강조함으로써 전문가 트레이젝터리에 대한 암묵적 다수결 투표를 모방한다.
• 이론적 분석을 통해 저온 샘플링 하에서 단일 전문가가 무작위 오류를 범하는 경우, 모델이 그 전문가를 노이즈 제거를 통해 초월할 수 있음을 증명한다.
• 이론적 프레임워크를 확장하여, 다양한 전문가가 비균일한 강도와 편향을 지닌 경우에 초월성이 가능해지는 조건을 분석한다.
• Glicko-2 등급을 사용하여 모델 성능을 실증적으로 평가하며, 훈련 세트 내 어떤 인간 플레이어의 최고 등급보다도 높은 성능을 기록하는지 비교한다.
• 게임 상태별 보상 변화를 분석하여 성능 향상이 특정한 중요한 위치에 집중되어 있음을 시각화한다.

Figure 1: Ratings of our autoregressive decoder-only transformer, ChessFormer, over several different temperatures. We refer to our models as “ChessFormer <Maximum Glicko-2 rating seen during training>" to easily distinguish between different models in subsequent sections. Each model is trained only

실험 결과

연구 질문

• RQ1 인간 데이터를 기반으로 이mitation learning을 수행한 생성 모델이 훈련 데이터 내 최고의 개별 전문가를 초월할 수 있는가?
• RQ2 생성 모델이 전문가의 원천을 초월하는 데 어떤 메커니즘이 작용하며, 어떤 조건에서 이러한 현상이 발생하는가?
• RQ3 저온 샘플링이 얼마나 효과적으로 전문가 행동에 대한 암묵적 앙상블 평균화를 모방하는 노이즈 제거 효과를 제공하는가?
• RQ4 훈련 데이터의 다양성이 초월성 달성에 얼마나 필수적인가? 데이터의 다양성이 낮을 경우 어떤 결과가 발생하는가?
• RQ5 초월성에서 얻는 성능 향상은 소수의 영향력 있는 위치에서 발생하는가, 아니면 균일하게 분포되어 있는가?

주요 결과

• 1300점 이하의 인간 게임 데이터를 기반으로 훈련된 ChessFormer 모델은 훈련 데이터 내 어떤 인간 플레이어의 최고 등급보다도 뚜렷이 높은 Glicko-2 등급을 기록하여 초월성을 입증했다.
• 저온 샘플링은 초월성에 필수적이었으며, 추론 시 온도를 낮출 때에만 전문가 등급을 초월하는 성능 향상이 관찰되어 다수결 투표의 이론적 역할을 확인했다.
• 성능 향상은 소수의 게임 상태, 특히 핵심적인 위치에 집중되어 있었으며, 이는 초월성이 높은 위험도를 지닌 전략적 상황에서의 개선에서 기인함을 시사한다.
• 다양성이 낮은 데이터셋으로 훈련된 경우 ChessFormer는 초월성을 달성하지 못했으며, 이는 다양한 전문가 행동 간 다양성이 효과적인 노이즈 제거와 다수결 투표를 위해 필수 조건임을 확인한다.
• 이론적 분석을 통해 단일 전문가가 무작위 오류를 범하는 경우, 저온 샘플링 하에서 그 전문가를 초월할 수 있음을 증명하여 이 현상의 공식적 기반을 마련했다.
• 이 연구는 생성 모델에서의 저온 샘플링과 기계학습에서의 앙상블 방법 간 깊은 연관성을 규명하였으며, 분포 스무딩을 통한 암묵적 모델 앙상블을 보여주었다.

Figure 2: Visualizing the denoising effects of low temperature on the action distribution: an example of ChessFormer shifting probability mass towards the high reward move of trapping the queen with the rook as the temperature $\tau$ decreases. Opacity of the red arrows represent the probability mas