[논문 리뷰] Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks

Yuxuan Li, James L. McClelland|arXiv (Cornell University)|2022. 10. 02.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 레이블 기반 순서 인코딩을 사용하는 두 레이어의 인과적 트랜스포머가 복사, 뒤집기, 계층적 정렬과 같은 알고리즘 작업에서 강력한 체계적 일반화를 달성하며, 훈련 중에 본 적이 없는 더 긴 시퀀스로도 일반화됨을 보여준다. 모델들은 해석 가능한 작업 분해형 주의 패턴을 개발하고 관련 작업 간에 공유된 계산을 활용하며, 자기주의가 명시적 기호적 구성 요소 없이도 구조적인 계산을 가능하게 하는 방식을 드러낸다.

ABSTRACT

Transformer networks have seen great success in natural language processing and machine vision, where task objectives such as next word prediction and image classification benefit from nuanced context sensitivity across high-dimensional inputs. However, there is an ongoing debate about how and when transformers can acquire highly structured behavior and achieve systematic generalization. Here, we explore how well a causal transformer can perform a set of algorithmic tasks, including copying, sorting, and hierarchical compositions of these operations. We demonstrate strong generalization to sequences longer than those used in training by replacing the standard positional encoding typically used in transformers with labels arbitrarily paired with items in the sequence. We search for the layer and head configuration sufficient to solve these tasks, then probe for signs of systematic processing in latent representations and attention patterns. We show that two-layer transformers learn reliable solutions to multi-level problems, develop signs of task decomposition, and encode input items in a way that encourages the exploitation of shared computation across related tasks. These results provide key insights into how attention layers support structured computation both within a task and across multiple tasks.

연구 동기 및 목표

• 명시적 기호적 인덕티브 바이어스 없이 트랜스포머가 구조적 알고리즘 작업에서 체계적 일반화를 어떻게 달성하는지 조사하기.
• 길이 일반화를 가능하게 하는 데 있어 레이블 기반 순서 인코딩과 표준 위치 인코딩의 효과성을 평가하기.
• 관련 작업 간의 작업 분해와 공유 계산의 징후를 찾기 위해 주의 메커니즘과 잠재 표현을 분석하기.
• 다중 헤드 주의의 계산 역학이 다수 수준의 추론을 지원하는 데 어떻게 기여하는지 이해하기.

제안 방법

• 원-핫/다중-핫 토큰 인코딩을 사용해 특징을 분리된 표현으로 갖는 10만 개의 시퀀스(5~50개 항목)로 구성된 데이터셋에 대해 두 레이어의 인과적 트랜스포머를 훈련시켰다.
• 표준 위치 인코딩을 대체해 각 항목에 무작위 레이블을 할당하여 시퀀스 순서를 전달함으로써 더 긴 시퀀스로의 일반화를 가능하게 하였다.
• 모델이 원하는 작업(예: 복사, 정렬, 그룹화)에 조건을 주기 위해 작업별로 특화된 원-핫 토큰을 사용하였다.
• 헤드 수준 및 레이어 수준의 잠재 공간 내 역학을 분석하기 위해 주의 아블레이션과 표현 프로빙을 수행하였다.
• 최대 훈련 길이(50개 항목)보다 긴 테스트 시퀀스에서 모델 성능을 평가하였다.
• 체계적 처리 및 작업 분해의 징후를 탐지하기 위해 주의 패턴과 특징 표현을 분석하였다.

실험 결과

연구 질문

• RQ1 최소한의 두 레이어 인과적 트랜스포머는 순서 조작을 포함한 여러 알고리즘 작업에서 학습하고 체계적으로 일반화할 수 있는가?
• RQ2 레이블 기반 순서 인코딩은 표준 위치 인코딩에 비해 길이 일반화를 얼마나 잘 지원하는가?
• RQ3 트랜스포머의 주의 헤드는 복잡한 작업의 체계적 분해를 반영하는 해석 가능한, 작업별 특화된 역할을 개발하는가?
• RQ4 잠재 표현이 관련 작업 간에 공통적인 구조적 패턴을 얼마나 잘 인코딩하는가?

주요 결과

• 레이블 기반 순서 인코딩 덕분에 강력한 길이 일반화가 가능해져, 훈련 최대 길이인 50개 항목을 초월한 시퀀스로도 안정적으로 일반화할 수 있었다.
• 두 레이어 트랜스포머는 계층적 정렬 및 그룹화와 같은 다수 수준의 작업에 대해 신뢰할 수 있는 해결책을 학습하며 체계적 일반화를 보였다.
• 주의 헤드는 특징 그룹화나 순서 정렬과 같은 하위 구성 요소에 특화된 특정 헤드들이 관찰되어 작업 분해의 징후를 보였다.
• 잠재 표현은 관련 작업 간에 공유된 계산을 가능하게 하는 방식으로 항목 특징을 인코딩했으며, 예를 들어 다양한 특징 순서로 정렬하는 것과 같은 작업에서 유사한 패턴을 보였다.
• 모델은 알려진 작업 구조와 일치하는 해석 가능한 주의 패턴을 개발했으며, 이는 잠재적인 기호 유사 처리가 발생했음을 시사한다.
• 학습 가능한 위치 인코딩과 사인파 인코딩은 레이블 기반 방법에 비해 길이 일반화 성능이 떨어지고 훈련 속도도 느렸다.