[논문 리뷰] Transformers Learn Shortcuts to Automata

Bingbin Liu, Jordan T. Ash외 3명|arXiv (Cornell University)|2022. 10. 19.

Machine Learning and Algorithms인용 수 11

한 줄 요약

이 논문은 트랜스포머가 계층적 재매개변수화를 통해 유한 상태 오토마타를 시뮬레이션하기 위한 '단순화된 해결책'(shortcut)을 학습함으로써, 순차 계산을 정확하게 모방할 수 있음을 보여준다. 이는 시퀀스 길이 T에 비해 훨씬 얕은 O(log T) 또는 심지어 O(1)의 깊이로 이루어지며, 이는 기존의 순차적 계산 방식보다 훨씬 효율적이다. 이론적 및 실증적 결과는 이러한 단순화된 해결책이 흔하고 효율적이며, 표준 학습 과정을 통해 학습된다는 것을 보여주지만, 특히 시퀀스 길이가 다를 경우의 분포 외 일반화 성능이 열악하다는 점에서 취약성을 보인다.

ABSTRACT

Algorithmic reasoning requires capabilities which are most naturally understood through recurrent models of computation, like the Turing machine. However, Transformer models, while lacking recurrence, are able to perform such reasoning using far fewer layers than the number of reasoning steps. This raises the question: what solutions are learned by these shallow and non-recurrent models? We find that a low-depth Transformer can represent the computations of any finite-state automaton (thus, any bounded-memory algorithm), by hierarchically reparameterizing its recurrent dynamics. Our theoretical results characterize shortcut solutions, whereby a Transformer with $o(T)$ layers can exactly replicate the computation of an automaton on an input sequence of length $T$. We find that polynomial-sized $O(\log T)$-depth solutions always exist; furthermore, $O(1)$-depth simulators are surprisingly common, and can be understood using tools from Krohn-Rhodes theory and circuit complexity. Empirically, we perform synthetic experiments by training Transformers to simulate a wide variety of automata, and show that shortcut solutions can be learned via standard training. We further investigate the brittleness of these solutions and propose potential mitigations.

연구 동기 및 목표

• 비순환적이고 얕은 트랜스포머가 순차 계산이 필요한 알고리즘 추론 작업을 어떻게 수행하는지 이해하기 위해.
• 트랜스포머가 시퀀스 길이에 비해 깊이가 선형이 아닌 경우에도 유한 상태 오토마타를 정확히 시뮬레이션할 수 있는지 조사하기 위해.
• 이러한 단순화된 해결책이 존재하는 구조적 및 계산 조건을 규명하기 위해.
• 실제로 학습된 단순화된 해결책의 강건성과 일반화 성능을 평가하기 위해.
• 더 강건하고 RNN 유사한 반복적 추론 방식으로 트랜스포머를 유도할 수 있는 학습 전략을 제안하기 위해.

제안 방법

• Krohn-Rhodes 분해와 회로 복잡도를 활용한 이론적 분석을 통해, 상수 깊이의 트랜스포머가 반자동기를 얼마나 정확히 시뮬레이션할 수 있는지 조건을 규명한다.
• 전이 동역학의 계층적 재매개변수화를 통해, 임의의 유한 상태 오토마타를 정확히 시뮬레이션할 수 있는 명시적 O(log T) 깊이 및 O(1) 깊이의 트랜스포머 아키텍처를 구성한다.
• 표준 비자기적 트랜스포머를 다양한 반자동기 작업에 대해 실증적으로 학습하여, 표준 최적화 과정 하에서 단순화된 해결책 학습을 관찰한다.
• 자기적 트랜스포머가 반복적이고 사고 체인 스타일의 추론을 학습하도록 유도하기 위해 최근성에 치우친 스크래치패드 학습을 도입한다.
• 피드포워드 네트워크의 폭과 깊이 요구사항을 줄이기 위해 주기적 활성화(예: sin/cos)와 최대 풀링을 적용한다.
• 비해결 가능한 반자동기의 경우 깊이 요구사항의 하한을 증명하기 위해 회로 복잡도의 감소 기법(예: NC¹-완전성)을 적용한다.

실험 결과

연구 질문

• RQ1 얕고 비순환적인 트랜스포머는 시퀀스 길이 T에 대해 깊이가 선형이 아닌 경우에도, 어떤 경우에나 유한 상태 오토마타의 계산을 정확히 시뮬레이션할 수 있는가?
• RQ2 반자동기의 경우 상수 깊이의 단순화된 해결책이 존재하는 조건는 무엇이며, 이는 대수적 구조와 어떻게 관련되어 있는가?
• RQ3 표준 학습 절차가 트랜스포머가 이러한 단순화된 해결책을 자연스럽게 학습하게 하는가?
• RQ4 특히 시퀀스 길이가 다를 경우, 분포 외 일반화에 대해 학습된 단순화된 해결책은 얼마나 강건한가?
• RQ5 우리는 트랜스포머가 단순화된 해결책 대신 반복적이고 RNN 유사한 추론 방식을 학습하도록 유도할 수 있는가?

주요 결과

• 깊이 O(log T)의 트랜스포머는 시퀀스 길이 T에 관계없이 어떤 유한 상태 오토마타도 정확히 시뮬레이션할 수 있다.
• 해결 가능한 반자동기의 경우, Krohn-Rhodes 정리에 따라 상수 깊이(O(1))의 단순화된 해결책이 존재한다.
• 비해결 가능한 반자동기의 경우, TC⁰ = NC¹이 성립하지 않는 한 상수 깊이의 시뮬레이션은 불가능하며, 이는 이론적 하한을 보여준다.
• 실증적 학습 결과, 비선형 최적화 과정임에도 불구하고 표준 트랜스포머가 다양한 오토마타 유형에서 단순화된 해결책으로 수렴하는 것으로 나타났다.
• 학습된 단순화된 해결책는 특히 미리 보지 못한 시퀀스 길이에 대해 분포 외 일반화 성능이 열악하며, 제한된 감독 하에서는 RNN보다 성능이 열 劣하다.
• 최근성에 치우친 스크래치패드 학습은 자기적 트랜스포머가 반복적이고 사고 체인 스타일의 추론을 성공적으로 학습하도록 유도했으며, 단순화된 해결책의 취약성을 완화했다.