[논문 리뷰] Inductive Biases and Variable Creation in Self-Attention Mechanisms

Benjamin Edelman, Surbhi Goel외 2명|arXiv (Cornell University)|2021. 10. 19.

Topic Modeling참고 문헌 45인용 수 15

한 줄 요약

이 논문은 트랜스포머의 자체 어텐션 메커니즘이 희박한 함수를 학습하는 데 강한 인덕티브 편향을 보임을 입증한다. 특히, 컨텍스트 길이 $T$에 대해 샘플 복잡도가 로그적으로 증가하는 $s$-희박한 부울 함수를 표현할 수 있다. 주요 이론적 기여는 커버링 수를 사용한 노름 기반 일반화 경계로, 유한한 노름을 가진 어텐션 헤드는 희박한 상호작용에 대해 낮은 샘플 복잡도를 달성함으로써 장거리 의존성을 과적합 없이 모델링하는 데 성공한 이유를 설명한다.

ABSTRACT

Self-attention, an architectural motif designed to model long-range interactions in sequential data, has driven numerous recent breakthroughs in natural language processing and beyond. This work provides a theoretical analysis of the inductive biases of self-attention modules. Our focus is to rigorously establish which functions and long-range dependencies self-attention blocks prefer to represent. Our main result shows that bounded-norm Transformer networks "create sparse variables": a single self-attention head can represent a sparse function of the input sequence, with sample complexity scaling only logarithmically with the context length. To support our analysis, we present synthetic experiments to probe the sample complexity of learning sparse Boolean functions with Transformers.

연구 동기 및 목표

• 트랜스포머의 자체 어텐션 메커니즘의 인덕티브 편향을 공식적으로 분석하기 위해.
• 자기 어텐션 메커니즘이 어떤 유형의 함수와 장거리 의존성을 선호하여 표현하는지 밝히기 위해.
• 어 attention 모듈을 사용하여 희박한 함수를 학습하는 데 필요한 샘플 복잡도에 대한 이론적 경계를 설정하기 위해.
• 노름 기반 일반화와 자체 어텐션 헤드의 표현 능력 간의 관계를 연결하기 위해.
• 희박한 부울 함수를 학습하는 시뮬레이션 실험을 통해 이론을 검증하기 위해.

제안 방법

• 자기 어텐션 메커니즘의 용량 경계를 커버링 수 기반으로 유도하며, $\ell_{\infty}$ 행렬 노름을 사용하여 노름 기반 일반화 경계를 가능하게 한다.
• 기존의 선형 함수 클래스에 대한 커버링 수 경계(Zhang, 2002)를 감소시켜 어텐션 헤드의 용량을 분석한다.
• 유한한 노름을 가진 어텐션 헤드가 $s$-희박한 함수를 $2^{O(s)}$ 또는 대칭 케이스의 경우 $\mathrm{poly}(s)$ 수준의 가중치 노름으로 표현할 수 있음을 증명한다.
• 변동 길이의 시퀀스에서 무작위로 선택된 $s$-희박한 부울 함수를 식별하도록 트랜스포머를 훈련시키기 위한 시뮬레이션 실험을 설계한다.
• 고정 및 i.i.d. 샘플링 프로토콜을 모두 사용하여 샘플 효율성과 계산적 행동을 탐구한다.
• 이론적 경계와 실증적 검증을 통해 어텐션의 통계적 및 표현적 한계를 분석한다.

실험 결과

연구 질문

• RQ1 자기 어텐션 메커니즘은 희박성 측면에서 어떤 유형의 함수를 선호하여 표현하는가?
• RQ2 자기 어텐션 모델에서 희박한 함수를 학습할 때 샘플 복잡도는 컨텍스트 길이에 따라 어떻게 변화하는가?
• RQ3 유한한 노름을 가진 자기 어텐션 헤드는 $s$-희박한 함수를 효율적으로 표현할 수 있는가? 필요한 노름 스케일링은 무엇인가?
• RQ4 커버링 수와 일반화 경계로 측정했을 때, 자기 어텐션 메커니즘의 통계적 용량은 무엇인가?
• RQ5 이론적 과제가 있음에도 불구하고, 트랜스포머가 XOR(패리티) 함수와 같은 가장 어려운 $s$-희박한 함수를 어떻게 학습할 수 있는가?

주요 결과

• 자기 어텐션 헤드는 희박한 함수를 학습하는 데 인덕티브 편향을 보이며, 컨텍스트 길이 $T$에 대해 샘플 복잡도가 $\log(T)$ 비율로 증가한다.
• 유한한 노름을 가진 어텐션 헤드는 $2^{O(s)}$ 또는 대칭 케이스의 경우 $\mathrm{poly}(s)$ 수준의 가중치 노름으로 $s$-희박한 함수를 표현할 수 있다.
• 이론적 분석 결과, 커버링 수 기반 일반화 경계가 $T$에 대해 로그적으로 증가함을 보여, 낮은 샘플 복잡도를 지지한다.
• 시뮬레이션 실험 결과, 트랜스포머가 예측된 $\log(T)$ 스케일링과 일치하는 샘플 복잡도로 희박한 부울 함수를 학습함을 확인한다.
• 이론적 과제가 있음에도 불구하고, 트랜스포머는 가장 어려운 $s$-희박한 함수인 XOR(패리티) 함수를 성공적으로 학습한다. 이는 현재의 통계 분석을 초월한 계산 능력을 지닌다는 것을 시사한다.
• 결과는 자기 어텐션 모델이 장거리 의존성을 과적합 없이 잘 일반화하는 이유에 대한 공식적인 통계적 기반을 제공한다.