[논문 리뷰] What Algorithms can Transformers Learn? A Study in Length Generalization

Hattie Zhou, Arwen Bradley외 6명|arXiv (Cornell University)|2023. 10. 24.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 RASP-Generalization 추측을 제안한다. 이 추측은 알고리즘 작업에서 트랜스포머가 강력한 길이 일반화를 보이려면, 그 작업이 짧은 RASP-L 프로그램으로 해결될 수 있을 때에만 가능하다는 것을 주장한다. RASP-L은 트랜스포머의 인덕티브 바이어스와 호환되는 방식으로 알고리즘을 표현하는 형식적 언어이다. 이 추측은 입력 형식을 재구성하여 짧은 RASP-L 솔루션을 가능하게 함으로써, 이전에는 어려운 문제로 여겨졌던 파리티와 덧셈과 같은 다양한 작업들에서 길이 일반화를 성공적으로 예측한다. 이는 트랜스포머에서 알고리즘 학습을 이해하는 데 통합적인 프레임워크를 제공한다.

ABSTRACT

Large language models exhibit surprising emergent generalization properties, yet also struggle on many simple reasoning tasks such as arithmetic and parity. This raises the question of if and when Transformer models can learn the true algorithm for solving a task. We study the scope of Transformers' abilities in the specific setting of length generalization on algorithmic tasks. Here, we propose a unifying framework to understand when and how Transformers can exhibit strong length generalization on a given task. Specifically, we leverage RASP (Weiss et al., 2021) -- a programming language designed for the computational model of a Transformer -- and introduce the RASP-Generalization Conjecture: Transformers tend to length generalize on a task if the task can be solved by a short RASP program which works for all input lengths. This simple conjecture remarkably captures most known instances of length generalization on algorithmic tasks. Moreover, we leverage our insights to drastically improve generalization performance on traditionally hard tasks (such as parity and addition). On the theoretical side, we give a simple example where the "min-degree-interpolator" model of learning from Abbe et al. (2023) does not correctly predict Transformers' out-of-distribution behavior, but our conjecture does. Overall, our work provides a novel perspective on the mechanisms of compositional generalization and the algorithmic capabilities of Transformers.

연구 동기 및 목표

• 트랜스포머가 훈련 분포를 초월해 체계적으로 일반화할 수 있는 조건, 특히 알고리즘 작업에서의 길이 일반화 조건을 이해하는 것.
• 트랜스포머가 일부 추론 작업에서는 놀라운 성공을 거두지만 다른 작업에서는 실패하는 데서 비롯되는 모순을 해결하는 것, 특히 분포 외 일반화에서의 실패 원인을 밝혀내는 것.
• 트랜스포머가 패턴을 암기하는 것이 아니라 진정으로 알고리즘을 학습하는지 여부를 예측할 수 있는 통합적 프레임워크를 개발하는 것.
• 아키텍처 및 프om프팅 엔지니어링 선택이 짧은 RASP-L 프로그램 표현을 가능하게 함으로써 강력한 일반화를 해제할 수 있음을 보여주는 것.
• 형식적 언어를 기반으로 한 알고리즘 단순성의 이론적이고 경험적인 기초를 마련하여 트랜스포머의 알고리즘 추론에 기여하는 것.

제안 방법

• 저자들은 트랜스포머가 학습하기에 간단하고 자연스러운 알고리즘을 표현하기 위해 RASP 프로그래밍 언어의 제한된 하위집합인 RASP-L을 도입한다.
• ‘간단히 표현 가능하다’는 것을 짧은 RASP-L 프로그램으로 표현 가능한 것으로 정의하며, 이는 RASP-Generalization 추측의 기초가 된다.
• 추측은 트랜스포머가 길이 일반화를 보일 조건이 곧 짧은 RASP-L 솔루션이 존재하는지 여부와 정확히 일치한다고 주장한다. 이는 다양한 알고리즘 작업에서 검증된다.
• 이전에는 해결이 어려웠던 작업들(예: 파리티, 덧셈)이 짧은 RASP-L 프로그램으로 표현 가능하도록 입력 및 스크래치패드 형식을 재구성함으로써 강력한 일반화를 가능하게 한다.
• 훈련 중에 관찰한 바보다 더 긴 테스트 시퀀스에서 일반화 성능을 평가하며, +10 길이에서 정확히 일치하는 정확도를 측정한다.
• 기존 이론 모델(예: 최소 차수 보간자)과 비교하여, 이들의 프레임워크는 이전 모델이 실패하는 경우에도 정확한 행동 예측을 함으로써 성공적으로 작동함을 보여준다.

실험 결과

연구 질문

• RQ1 트랜스포머가 알고리즘 작업에서 강력한 길이 일반화를 보일 조건은 무엇인가?
• RQ2 형식적 언어를 사용해 트랜스포머에서 훈련 분포를 초월해 일반화할 수 있는지 여부를 예측할 수 있는가?
• RQ3 유사한 모델 아키텍처를 가진 알고리즘 작업들 중 일부는 일반화되지만 다른 일부는 실패하는 이유는 무엇인가?
• RQ4 입력 및 스크래치패드 표현 방식을 재구성함으로써 기존에 어려운 작업으로 여겨졌던 파리티와 덧셈과 같은 작업에서 일반화를 해제할 수 있는가?
• RQ5 RASP-Generalization 추측은 트랜스포머의 인덕티브 바이어스에 대한 기존 이론 모델과 비교해 어떻게 다른가?

주요 결과

• 짧은 RASP-L 프로그램을 허용하는 모든 작업은 강력한 길이 일반화를 보이며, 그렇지 않은 작업은 그렇지 않다. 이는 RASP-Generalization 추측을 지지한다.
• 이전에는 길이 일반화가 어려운 것으로 여겨졌던 파리티 및 덧셈 작업은, 짧은 RASP-L 솔루션을 허용하도록 형식을 재구성한 후, 훈련보다 10자리 더 긴 입력에서 100% 정확히 일치하는 정확도를 달성한다.
• 길이 60 이상의 시퀀스로 훈련된 모델은 카운팅 작업에서 길이 150까지 거의 완벽한 길이 일반화를 보이며, 분포 이격에 대한 강건성을 입증한다.
• Abbe 등(2023)의 최소 차수 보간자 모델이 실패하는 경우에도 RASP-Generalization 추측은 일반화 행동을 정확히 예측한다. 이는 더 정확한 인덕티브 바이어스 기술을 제공함을 시사한다.
• 이 추측은 복사, 정렬, 모드, 덧셈과 같은 다양한 작업에서의 길이 일반화 사례를 통합하여 단일 예측 프레임워크를 제공한다.
• 연구는 트랜스포머가 작업이 짧은 RASP-L 표현을 허용할 경우 진정된 알고리즘을 학습할 수 있음을 드러내며, 그것이 유사한 패턴 매칭에 의존한다는 기존의 견해에 도전한다.