[논문 리뷰] Let's Think Dot by Dot: Hidden Computation in Transformer Language Models

Jacob Pfau, William Merrill외 1명|arXiv (Cornell University)|2024. 04. 24.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 의미 없는 채우기 토큰(예: '……')를 사용하여 트랜스포머 모델이 체인오프스터디 추론 대신 복잡한 알고리즘 계산을 수행할 수 있음을 보여주며, 직접 프롬프팅이 실패하는 합성 작업(예: 3SUM)에서 100% 정확도를 달성한다. 결과적으로 중간 토큰이 의미적 내용과는 별개로 계산적 이점을 제공함을 시사하며, LLM 내부의 숨겨진, 점검할 수 없는 계산이 존재함을 드러낸다.

ABSTRACT

Chain-of-thought responses from language models improve performance across most benchmarks. However, it remains unclear to what extent these performance gains can be attributed to human-like task decomposition or simply the greater computation that additional tokens allow. We show that transformers can use meaningless filler tokens (e.g., '......') in place of a chain of thought to solve two hard algorithmic tasks they could not solve when responding without intermediate tokens. However, we find empirically that learning to use filler tokens is difficult and requires specific, dense supervision to converge. We also provide a theoretical characterization of the class of problems where filler tokens are useful in terms of the quantifier depth of a first-order formula. For problems satisfying this characterization, chain-of-thought tokens need not provide information about the intermediate computational steps involved in multi-token computations. In summary, our results show that additional tokens can provide computational benefits independent of token choice. The fact that intermediate tokens can act as filler tokens raises concerns about large language models engaging in unauditable, hidden computations that are increasingly detached from the observed chain-of-thought tokens.

연구 동기 및 목표

• 트랜스포머의 중간 토큰이 의미적 내용을 초월해 계산적 능력을 제공하는지 조사하기.
• 의미 없는 채우기 토큰(예: '……')이 트랜스포머가 이외에 해결할 수 없는 알고리즘 작업을 해결하는 데 기여할 수 있는지 확인하기.
• 체인오프스터디 프롬프팅이 가져오는 성능 향상이 구조적 계산 때문인지, 해석 가능한 추론 때문인지 평가하기.
• 감독적 미세조정을 통해 채우기 토큰을 효과적으로 사용하도록 학습하는 것이 가능한지 평가하기.
• 일阶논리에서의 기호 깊이를 바탕으로, 채우기 토큰이 유용한 문제의 클래스를 이론적으로 특성화하기.

제안 방법

• 저자들은 직접 프롬프팅으로는 해결 불가능하지만 중간 토큰이 있으면 해결 가능한 두 가지 합성 데이터셋(3SUM 및 2SUM-Transform)을 구축한다.
• 입력과 출력 사이에 채우기 토큰('……')를 삽입한 시퀀스를 사용하여 다음 토큰 예측 목표를 기반으로 모델을 미세조정한다.
• 성능 평가 시, 더 긴 입력과 더 복잡한 입력으로의 제로샷 일반화 성능을 측정하며, 채우기 토큰, 체인오프스터디, 중간 토큰 없음 기준선을 비교한다.
• 이론적 분석을 통해 채우기 토큰의 유용성이 일阶논리에서의 기호 깊이와 연결되며, 기호 깊이 >2인 문제들은 채우기 토큰을 통해 표현 가능해짐을 보여준다.
• 제거 분석을 통해 채우기 토큰 전용 시퀀스 학습과 체인오프스터디 시퀀스 학습을 비교하여 학습 곤란 요인을 분리한다.
• 실험적 평가에서는 합성 데이터로 미세조정된 LLaMA 기반 모델을 사용하며, 다양한 랜덤 시드와 하이퍼파라미터 설정에서 성능을 측정한다.

Figure 1: A stylized example distinguishing between three LM question-answering protocols: chain of thought, filler tokens, and immediate answer. In the filler-tokens setting, the LM uses arbitrary, irrelevant intermediate tokens (e.g., ‘……’) before answering, but the filler tokens’ hidden-layer rep

실험 결과

연구 질문

• RQ1 트랜스포머는 의미 없는 중간 토큰(의미적 내용이 전혀 없는 토큰)만을 사용하여 알고리즘 작업을 해결할 수 있는가?
• RQ2 체인오프스터디 프롬프팅의 성능 향상 요인이 해석 가능한 추론이 아닌 추가적인 계산 때문인가?
• RQ3 채우기 토큰을 효과적으로 사용하도록 트랜스포머를 훈련시키는 것이 가능한가? 어떤 종류의 감독이 필요한가?
• RQ4 어떤 유형의 문제들이 채우기 토큰 덕분에 해결 가능해지며, 이는 논리적 표현력과 어떻게 관련되는가?
• RQ5 채우기 토큰의 사용이 LLM의 추론 해석 가능성과 점검 가능성에 악영향을 미치는가?

주요 결과

• 3SUM 작업에서, 채우기 토큰을 사용한 모델은 100% 정확도를 기록했지만, 채우기 토큰이 없는 즉각적인 답변 설정에서는 거의 0% 정확도를 기록했다.
• 2SUM-Transform 작업에서, 채우기 토큰을 사용한 모델은 94% 정확도를 기록했으며, 체인오프스터디 프롬프팅의 95.1% 성능에 근접했다.
• 입력 길이와 복잡도가 증가할수록 채우기 토큰을 사용한 성능이 크게 향상되어, 의미적 내용과는 별개로 계산적 이점이 있음을 시사한다.
• 채우기 토큰 전용 시퀀스로 학습한 결과 정확도는 약 71%에 머물러, 채우기 토큰을 효과적으로 사용하도록 학습하는 것은 병렬화 가능한 감독 없이 어렵다는 것을 시사한다.
• 인스턴스에 적응하는 체인오프스터디 데이터로 훈련한 모델는 채우기 토큰 시퀀스로의 일반화에 실패하여, 순차적 추론에서 채우기 토큰 사용으로의 지식 전이가 이루어지지 않았음을 보여준다.
• 이론적 분석 결과, 채우기 토큰은 특히 기호 깊이가 높은 문제에 대해 TC⁰ 복잡도 클래스 내에서 표현력을 확장함을 보여주었다.

Figure 2: The performance gap between a transformer, Llama 34M, with and without filler tokens increases with 3SUM problem length up to length 12, showing that filler tokens reliably provide an advantage for sufficiently complex 3SUM problems. The no-filler models were trained for 5 $\times$ the num