[논문 리뷰] Which transformer architecture fits my data? A vocabulary bottleneck in self-attention

Noam Wies, Yoav Levine외 2명|arXiv (Cornell University)|2021. 05. 09.

Topic Modeling참고 문헌 41인용 수 6

한 줄 요약

이 논문은 Transformer 아키텍처에서 모델 폭을 늘릴수록 표현력 향상이 제한되는 어휘 랭크 병목 현상을 규명한다. 모델 폭이 입력 어휘 크기(또는 임bedding 랭크)보다 작을 경우, 깊이 있는 네트워크가 넓은 네트워크보다 지수적으로 더 효율적이며, 이는 다양한 데이터 모odal리티에서 관측된 깊이-폭 비율의 변동성을 설명하고, ALBERT 및 T5와 같은 모델에서 파라미터 수를 25–50% 감소시킬 수 있게 한다.

ABSTRACT

After their successful debut in natural language processing, Transformer architectures are now becoming the de-facto standard in many domains. An obstacle for their deployment over new modalities is the architectural configuration: the optimal depth-to-width ratio has been shown to dramatically vary across data types (e.g., $10$x larger over images than over language). We theoretically predict the existence of an embedding rank bottleneck that limits the contribution of self-attention width to the Transformer expressivity. We thus directly tie the input vocabulary size and rank to the optimal depth-to-width ratio, since a small vocabulary size or rank dictates an added advantage of depth over width. We empirically demonstrate the existence of this bottleneck and its implications on the depth-to-width interplay of Transformer architectures, linking the architecture variability across domains to the often glossed-over usage of different vocabulary sizes or embedding ranks in different domains. As an additional benefit, our rank bottlenecking framework allows us to identify size redundancies of $25\%-50\%$ in leading NLP models such as ALBERT and T5.

연구 동기 및 목표

• 다양한 데이터 모달리티(예: 언어 대 비전)에서 관측된 Transformer 아키텍처의 깊이-폭 비율 변동성을 설명하기 위해.
• 제한된 입력 어휘 크기 또는 임베딩 랭크로 인해 자가주의 표현력에 이르는 이론적 병목 현상을 규명하기 위해.
• 모델 폭이 임베딩 랭크를 초과할 경우, 깊이를 늘이는 것이 폭을 늘이는 것보다 지수적으로 더 유리한지 입증하기 위해.
• 입력 데이터 특성에 기반해 최적의 Transformer 아키텍처 구성 선택에 적용 가능한 실용적이고 도메인에 관계없는 지침을 제공하기 위해.
• 이 병목 현상으로 인해 발생하는 크기의 중복성을 규명하고 정량화하기 위해, 대표적인 NLP 모델(예: ALBERT, T5)을 대상으로 분석한다.

제안 방법

• 입력 어휘 크기로 제한되는 쿼리, 키, 밸류 행렬의 최대 가능 랭크를 분석함으로써 자가주의 랭크 병목 현상을 이론적으로 유도한다.
• 모델 폭이 임베딩 랭크를 초과할 경우, 깊이를 늘일수록 폭을 늘리는 것보다 지수적으로 더 큰 표현력 향상이 이루어짐을 증명한다.
• 다양한 어휘 크기(바이트 수준에서 대규모 어휘까지)를 가진 텍스트 데이터에서 제어된 실험을 수행하여 깊이-폭 상충 관계를 검증한다.
• 고정된 파라미터 예산 하에서 어휘 크기와 임베딩 랭크를 변화시키며 다양한 네트워크 폭과 깊이에서 성능을 비교한다.
• 위치 임베딩 랭크에 대한 아블레이션 연구를 수행하여 이론적 분석에서 낮은 랭크의 위치 인코딩을 가정하는 것이 타당한지 검증한다.
• 실제 모델(예: ALBERT, T5)에 이 프레임워크를 적용하여 어휘 병목 현상으로 인한 불필요한 파라미터를 규명하고 정량화한다.

실험 결과

연구 질문

• RQ1 왜 다양한 도메인(예: NLP 대 컴퓨터 비전)에서 Transformer 아키텍처가 깊이-폭 비율을 다르게 나타내는가?
• RQ2 최적의 깊이-폭 비율은 데이터 모달리티에 따라 달라지는가, 아니면 아키텍처 표현력 제약에 의해 결정되는가?
• RQ3 입력 어휘 크기 또는 임베딩 랭크가 자가주의 표현력 향상을 위한 모델 폭 증가의 효과를 어느 정도 제한하는가?
• RQ4 임베딩 랭크를 기반으로 깊이-폭 상충 관계를 예측하고 제어할 수 있는가, 데이터 모달리티를 기반으로 하는가?
• RQ5 이 어휘 랭크 병목 현상으로 인해 기존 NLP 모델에서 얼마나 많은 파라미터 중복이 발생하는가?

주요 결과

• 어휘 크기가 모델 폭보다 작을 경우, 깊이 있는 네트워크가 넓은 네트워크보다 더 우수한 성능을 보이며, 자연어 데이터에서도 폭이 항상 유리하다는 가정과는 정반대되는 결과를 보인다.
• 어휘 크기가 네트워크 폭 이하일 경우, 깊이 있는 네트워크의 성능 우위가 나타나며, 바이트 수준 토크나이제이션(예: V=256) 실험에서 깊이 있는 모델이 지배적임을 확인할 수 있다.
• 어휘 크기가 네트워크 폭을 초과할 경우(예: GPT-2에서 V=50257), 깊이-폭 상충 관계는 표준 패턴으로 복귀하여 병목 현상이 랭크로 인한 것이며, 모달리티 때문이 아니라는 점을 확인한다.
• 어휘 랭크 병목 현상은 비전 모델(패치 임베딩이 크기 때문에)이 깊이 있는 아키텍처를 선호하는 이유를 설명하며, 반면 대규모 어휘를 가진 NLP 모델은 넓은 아키텍처를 선호하는 이유를 설명한다.
• 이 프레임워크는 ALBERT 및 T5와 같은 모델에서 25–50%의 파라미터 중복을 규명하여, 성능 손실 없이도 상당한 압축 가능성을 시사한다.
• 낮은 랭크의 위치 임베딩(최소 랭크 16)은 성능에 거의 영향을 주지 않으며, 이는 이론적 분석에서의 가정을 뒷받침한다.