[논문 리뷰] Transformers generalize differently from information stored in context vs in weights

Stephanie C. Y. Chan, Ishita Dasgupta외 4명|arXiv (Cornell University)|2022. 10. 11.

Neural Networks and Applications인용 수 11

한 줄 요약

이 논문은 트랜스포머 모델이 내부 가중치 정보와 문맥 내 정보에서 어떻게 다른 방식으로 일반화하는지 조사하며, 작은 모델은 예시 기반 방식으로 문맥에서 일반화하는 반면, 큰 언어 모델은 강력한 규칙 기반 일반화를 보임을 발견한다. 이는 스케일과 언어 데이터의 조합적 구조가 함께 규칙 유사한 문맥 내 학습을 가능하게 한다는 것을 시사한다. 또한 규칙 기반 데이터로 사전 훈련하면 이러한 행동이 유도될 수 있으며, 이는 대규모 언어 모델에서의 잠재적 인덕티브 바이어스의 기원을 시사한다.

ABSTRACT

Transformer models can use two fundamentally different kinds of information: information stored in weights during training, and information provided ``in-context'' at inference time. In this work, we show that transformers exhibit different inductive biases in how they represent and generalize from the information in these two sources. In particular, we characterize whether they generalize via parsimonious rules (rule-based generalization) or via direct comparison with observed examples (exemplar-based generalization). This is of important practical consequence, as it informs whether to encode information in weights or in context, depending on how we want models to use that information. In transformers trained on controlled stimuli, we find that generalization from weights is more rule-based whereas generalization from context is largely exemplar-based. In contrast, we find that in transformers pre-trained on natural language, in-context learning is significantly rule-based, with larger models showing more rule-basedness. We hypothesise that rule-based generalization from in-context information might be an emergent consequence of large-scale training on language, which has sparse rule-like structure. Using controlled stimuli, we verify that transformers pretrained on data containing sparse rule-like structure exhibit more rule-based generalization.

연구 동기 및 목표

• 내부 가중치 정보와 문맥 내 정보에서 일반화하는 트랜스포머의 인덕티브 바이어스를 이해하는 것.
• 다양한 훈련 방식에서 규칙 기반 일반화 패턴과 예시 기반 일반화 패턴을 비교하는 것.
• 자연어 데이터로 사전 훈련하면 대규모 모델에서 규칙 기반 문맥 내 일반화가 유도되는지 여부와 그 방식을 조사하는 것.
• 모델 스케일과 데이터 구조가 함께 문맥 내 학습 행동을 어떻게 형성하는지 규명하는 것.
• 특정 사전 훈련을 통해 예시 기반 문맥 내 일반화가 극복될 수 있는지 평가하는 것.

제안 방법

• 규칙 기반과 예시 기반 일반화를 구분하기 위해 부분 노출 파라다임을 사용하였으며, 모델은 최소한의 규칙 또는 훈련 예시와의 유사성에 따라 보류된 자극을 분류한다.
• 두 개의 특징을 가진 합성 데이터셋을 사용하여 트랜스포머를 처음부터 훈련시켰으며, 레이블은 한 가지 특징(예: 색상 또는 모양)에 의해 결정되어 내부 가중치와 문맥 내 학습 간의 통제된 비교를 가능하게 하였다.
• LLaMA와 같은 사전 훈련된 언어 모델을 동일한 부분 노출 작업에 대해 평가하여 문맥 내 일반화 행동을 분석하였다.
• 규칙성(Rule-ness)은 부분 노출 조건에서 제시된 예측 특징(예: 모양 또는 색상)에 따라 분류 정확도가 제어 조건 대비 얼마나 증가하는지로 정량화하였다.
• 모델 크기, 아키텍처 깊이, 어텐션 헤드 수, 훈련 데이터 분포 등을 변화시켜 일반화 스타일에 영향을 주는 요소를 분리 분석하였다.
• 사전 훈련 중에 규칙 기반 일반화가 명시적으로 요구되는 합성 데이터셋의 변형을 설계하여, 이러한 데이터가 기본 예시 편향을 초월할 수 있는지 테스트하였다.

실험 결과

연구 질문

• RQ1 통제된 합성 환경에서 트랜스포머는 내부 가중치 정보에서 문맥 내 정보로 일반화할 때 어떻게 다를까?
• RQ2 작은, 처음부터 훈련된 트랜스포머에서 문맥 내 학습이 예시 기반일까 규칙 기반일까?
• RQ3 대규모 사전 훈련된 언어 모델이 문맥 내 정보에서 얼마나 규칙 기반으로 일반화하는가?
• RQ4 합성 데이터로 규칙 기반 분류가 요구되는 데이터로 사전 훈련하면 트랜스포머가 문맥 내에서 규칙 기반으로 일반화할 수 있는가?
• RQ5 모델 스케일이 언어 모델에서 규칙 기반 문맥 내 일반화를 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 처음부터 훈련된 트랜스포머에서는 내부 가중치에서의 일반화가 완전히 규칙 기반이며, 반면 문맥 내 일반화는 주로 예시 기반이다.
• 큰 사전 훈련된 언어 모델(예: 7B~70B 파라미터 모델)은 더 작은 모델보다 훨씬 더 높은 수준의 규칙 기반 문맥 내 일반화를 보이며, 모델 크가 커질수록 규칙성이 증가한다.
• 작은 언어 모델(1B 및 7B 파라미터)은 문맥 내 학습에서 거의 완전히 예시 기반으로 행동하며, 처음부터 훈련된 모델과 유사하다.
• 합성 데이터로 사전 훈련한 결과, 규칙 기반 분류가 요구되는 경우 트랜스포머는 문맥에서 규칙 기반으로 일반화할 수 있음을 입증하였으며, 이는 예시 편향이 본질적인 것이 아니고 극복 가능하다는 것을 보여준다.
• 대규모 언어 모델에서 규칙 기반 문맥 내 일반화로의 전환은 자연어 데이터의 조합적이고 규칙 유사한 구조와 모델 스케일이 함께 기여한 결과로 보인다.
• 제어 조건 기준선은 모델이 색상에 따라 일반화하는 것을 기본적으로 선호하는 것으로 나타났으며, 이는 희박한 규칙(예: 모양)이 예측 가능할 경우 이를 초월한다.