[논문 리뷰] Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task

Kenneth Li, Aspen Hopkins외 4명|arXiv (Cornell University)|2022. 10. 24.

Topic Modeling인용 수 60

한 줄 요약

논문은 Othello에서 합법적인 수를 예측하도록 학습된 GPT 변형이 보드 상태의 비선형 내부 표현을 emergent하게 개발하고, 개입을 통한 예측에 대한 그들의 인과적 영향을 보여주며, 해석 가능성을 위한 잠재적 saliency 맵을 도입한다는 것을 보여준다.

ABSTRACT

Language models show a surprising range of capabilities, but the source of their apparent competence is unclear. Do these networks just memorize a collection of surface statistics, or do they rely on internal representations of the process that generates the sequences they see? We investigate this question by applying a variant of the GPT model to the task of predicting legal moves in a simple board game, Othello. Although the network has no a priori knowledge of the game or its rules, we uncover evidence of an emergent nonlinear internal representation of the board state. Interventional experiments indicate this representation can be used to control the output of the network and create "latent saliency maps" that can help explain predictions in human terms.

연구 동기 및 목표

• 합성 작업에서 시퀀스 모델이 표면적 통계 그 이상으로 내부 세계 표현을 개발하는지 조사한다.
• emergent 보드 상태 표현이 비선형적이며 예측에 인과적으로 영향을 미치는지 검토한다.
• 내부 표현을 조작하고 그 인과적 역할을 평가하기 위한 개입 기법을 개발 및 검증한다.
• 보드 게임 설정에서 모델의 예측을 시각화하고 설명하기 위한 잠재 saliency 맵을 도입한다.

제안 방법

• Othello 보드 타일을 나타내는 60-토큰 어휘를 가진 8-층 GPT 변형(Othello-GPT)을 부분 대본에서 다음 합법 수를 예측하도록 학습시킨다.
• 전문가 인간 수의 챔피언십 데이터 세트와 무작위 합법 수의 대규모 합성 데이터 세트의 두 가지 데이터를 사용한다.
• 검증 데이터에 대한 합법 수 예측 능력을 평가한다(상위 1위 합법성 오차율).
• 중간 층으로부터 보드 상태 표현을 추론하기 위해 선형 및 비선형 분류기로 내부 활성화를 탐색한다.
• 활성화를 최적화하는 경사 하강법 기반의 개입 기법을 적용하여 반사실적 보드 상태를 강제하고 예측의 변화를 관찰한다.
• 개입을 통해 상태 변화에 의해 예측이 바뀌는 것을 설명하고, 잠재적 saliency 맵을 구성한다.

실험 결과

연구 질문

• RQ1 GPT 스타일의 시퀀스 모델이 보드 게임의 대본에서 학습하면서 게임 상태(세계)에 대한 내부의 비선형 표현을 개발하는가?
• RQ2 이 emergent 표현이 모델의 다음 수 예측과 인과적으로 관련이 있는가?
• RQ3 활성화 개입이 모델의 내부 세계 모델을 드러내고 조작할 수 있는가?
• RQ4 잠재 saliency 맵이 보드 상태가 예측에 어떤 방식으로 영향을 주는지 해석 가능한 시각화를 제공하는가?

주요 결과

• Othello-GPT는 합성 데이터에서의 합법 수 예측에서 매우 낮은 오류를 보이며(0.01%) 챔피언십 데이터에서의 오류도 5.17%에 불과하고, 비학습 베이스라인(93.29%)보다 훨씬 우수하다.
• 선형 프로브는 보드 상태를 잘 회복하지 못하고(레이어 간 높은 오차; 예: 모두 >20%), 반면 비선형 프로브(2-layer MLP)는 현저히 낮은 오차를 달성하여 내부 표현이 비선형적임을 시사한다.
• 내부 활성화를 바꿔 단일 보드 타일 상태를 변화시키는 개입은 다음 수 예측에 인과적 영향을 줄 수 있으며, Ls=4에서의 개입이 자연 데이터/비자연 데이터 하에서 평균 오차가 각각 0.12/0.06으로 가장 좋다.
• 잠재 saliency 맵은 합성 모델에서 합법성 패턴과 일치하는 영역별 타일 saliency를 보여주고, 챔피언십 학습 모델에서는 더 복잡한 패턴을 드러낸다.
• 잠재 saliency 시각화는 합성 데이터와 챔피언십 데이터 간에 학습된 표현을 구분하며, 방법의 해석 가능성 유용성을 보여준다.