[논문 리뷰] Chain of Thought Empowers Transformers to Solve Inherently Serial Problems
이 논문은 사고 흐름(CoT)이 상수 깊이 트랜스포머가 본질적으로 직렬 계산을 수행하도록 하여 표준 TC0/AC0 경계 너머의 표현력을 확장하고, 실험적 과제로도 이를 뒷받침함을 보여주는 이론적 프레임워크를 제시한다.
Instructing the model to generate a sequence of intermediate steps, a.k.a., a chain of thought (CoT), is a highly effective method to improve the accuracy of large language models (LLMs) on arithmetics and symbolic reasoning tasks. However, the mechanism behind CoT remains unclear. This work provides a theoretical understanding of the power of CoT for decoder-only transformers through the lens of expressiveness. Conceptually, CoT empowers the model with the ability to perform inherently serial computation, which is otherwise lacking in transformers, especially when depth is low. Given input length $n$, previous works have shown that constant-depth transformers with finite precision $\mathsf{poly}(n)$ embedding size can only solve problems in $\mathsf{TC}^0$ without CoT. We first show an even tighter expressiveness upper bound for constant-depth transformers with constant-bit precision, which can only solve problems in $\mathsf{AC}^0$, a proper subset of $ \mathsf{TC}^0$. However, with $T$ steps of CoT, constant-depth transformers using constant-bit precision and $O(\log n)$ embedding size can solve any problem solvable by boolean circuits of size $T$. Empirically, enabling CoT dramatically improves the accuracy for tasks that are hard for parallel computation, including the composition of permutation groups, iterated squaring, and circuit value problems, especially for low-depth transformers.
연구 동기 및 목표
- 사고 흐름 프롬프트가 디코더-전용 트랜스포머의 추론을 왜 개선하는지 동기를 부여하고 이를 특징화한다.
- 유한 정밀도 하에서 CoT를 가진 트랜스포머와 없는 트랜스포머를 비교하는 형식적 표현력 프레임워크를 제공한다.
- CoT가 임의의 임베딩 크기를 가진 상수 깊이 트랜스포머가 회로 크기에 해당하는 계산을 시뮬레이션하도록 한다.
- 이론을 실험 과제와 연결하여 CoT가 본질적으로 직렬인 문제에서 언제 도움이 되는지 보여준다.
제안 방법
- 회로 복잡도 관점에서 유한 정밀도 트랜스포머 모델과 CoT 확장을 정의한다.
- CoT[T(n),d(n),s(n),e(n)]를 포함하여 CoT를 가진 트랜스포머 표현력에 대한 복잡도 클래스를 정립한다.
- 현실적 반올림을 고려한 상한을 유도하고 증명하여 CoT가 AC0/TC0를 넘어서는 표현력을 증가시킴을 보인다.
- CoT가 다항적으로 많은 CoT 단계로 크기 T인 회로 계산을 시뮬레이션할 수 있음을 증명한다.
- 이론적 주장을 검증하기 위한 실험 과제들(modular addition, permutation composition, iterated squaring, circuit value)을 제공한다.
실험 결과
연구 질문
- RQ1상수 깊이, 유한 정밀도 트랜스포머가 CoT를 가질 때 회로 크기가 커짐에 따라 TC0/AC0를 넘어 기능을 표현할 수 있는가?
- RQ2CoT를 가진 트랜스포머와 없는 트랜스포머에 대해 정확한 복잡도 이론적 경계(예: AC0, TC0, P/poly)는 무엇인가?
- RQ3CoT가 본질적으로 직렬인 과제를 해결하는 저깊이 트랜스포머의 능력에 어떤 영향을 미치는가?
- RQ4실험 과제가 CoT가 이득을 주는 시점에 대한 이론적 예측과 일치하는가?
주요 결과
- CoT 없이 상수 정밀도 트랜스포머는 특정 설정에서 AC0에 포함되며, 이는 TC0의 엄격한 부분집합이다.
- CoT의 1단계(T)로 상수 깊이의 트랜스포머가 상수 비트 정밀도와 O(log n) 임베딩을 사용하면 회로 크기 T의 계산을 수행할 수 있는 모든 함수를 표현할 수 있다.
- 다항적으로 많은 CoT 단계로 트랜스포머는 P/poly의 모든 회로를 계산할 수 있어 표현력이 크게 확장된다.
- 후속적으로 모든 정규 언어가 CoT를 이용한 선형 또는 로그 기반 구성으로 해결 가능하다는 보조정리가 나타난다.
- 실험적 과제들은 CoT가 병렬 계산이 낮은 깊이에서 다루기 어려운 본질적으로 직렬인 문제들(예: permutation composition, iterated squaring, circuit value)을 해결하도록 해줌을 보여준다.
- 결과는 이론적 경계와 직렬 계산이 필요한 과제에 대한 실용적 시演을 모두 포괄한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.