[논문 리뷰] Low-Rank Bottleneck in Multi-head Attention Models

Srinadh Bhojanapalli, Chulhee Yun외 3명|arXiv (Cornell University)|2020. 02. 17.

Topic Modeling참고 문헌 29인용 수 14

한 줄 요약

이 논문은 다중 헤드 어텐션 모델에서 헤드 수가 증가함에 따라 헤드 크기가 작아져 발생하는 저질서 블로킹을 규명하며, 이는 표현 능력을 제한하고 큰 임bedding 차원을 요구하게 한다. 저자들은 헤드 크기를 입력 시퀀스 길이에 고정함으로써 이 문제를 해결하고자 하며, 이는 모델의 표현력을 향상시키고, 더 작은 임베딩 크기로도 더 나은 성능을 달성하며 정확도를 희생시키지 않고 모델 파라미터를 줄이는 데 기여한다.

ABSTRACT

Attention based Transformer architecture has enabled significant advances in the field of natural language processing. In addition to new pre-training techniques, recent improvements crucially rely on working with a relatively larger embedding dimension for tokens. Unfortunately, this leads to models that are prohibitively large to be employed in the downstream tasks. In this paper we identify one of the important factors contributing to the large embedding size requirement. In particular, our analysis highlights that the scaling between the number of heads and the size of each head in the current architecture gives rise to a low-rank bottleneck in attention heads, causing this limitation. We further validate this in our experiments. As a solution we propose to set the head size of an attention unit to input sequence length, and independent of the number of heads, resulting in multi-head attention layers with provably more expressive power. We empirically show that this allows us to train models with a relatively smaller embedding dimension and with better performance scaling.

연구 동기 및 목표

• 현대 트랜스포머 모델에서 높은 임베딩 차원이 요구되는 근본 원인을 조사하는 것.
• 헤드 수에 따라 헤드 크기를 반비례로 조정할 경우 저질서 블로킹이 발생하여 표현 능력이 제한됨을 규명하는 것.
• 헤드 크기를 입력 시퀀스 길이에 고정하고 헤드 수와 임베딩 크기에서 분리하는 새로운 아키텍처 설계를 제안하는 것.
• 이 변경이 더 작은, 더 효율적인 모델을 훈련시켜 성능 스케일링을 향상시킬 수 있음을 보여주는 것.
• 헤드 크기가 단지 헤드 수나 임베딩 크기 외에 중요한 용량 제어 파라미터임을 검증하는 것.

제안 방법

• 각 어텐션 헤드가 입력 시퀀스 길이와 동일한 크기의 부분공간에서 작동하도록 고정된 헤드 크기 설정을 제안한다.
• 헤드 크기를 헤드 수와 임베딩 차원에서 분리하여, 랭크 제약 없이 임의의 헤드 수를 허용한다.
• 이론적으로(정리 1) 헤드 크기가 시퀀스 길이 이하일 경우 저질서 블로킹이 발생하여 표현 능력이 감소함을 증명한다.
• 헤드 수만 증가시킬 경우와 달리, 헤드 크기를 증가시키면 성능이 단조롭게 향상됨을 보여준다.
• 더 작은 임베딩 차원을 사용하여 LM1B, SQuAD, MNLI 벤치마크에서 고정된 헤드 크기 모델을 훈련하고 평가한다.
• 기존의 헤드 크기 히ュ리스틱(헤드 수에 비례하여 조정)을 사용하는 표준 모델과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 현대 트랜스포머 모델은 아키텍처적 발전에도 불구하고 왜 큰 임베딩 차원이 필요한가?
• RQ2 헤드 수가 증가함에 따라 헤드 크기를 줄일 경우 다중 헤드 어텐션의 표현 능력에 어떤 영향을 미치는가?
• RQ3 헤드 크기를 입력 시퀀스 길이에 고정함으로써 어텐션 헤드에서 저질서 블로킹을 제거할 수 있는가?
• RQ4 고정된 헤드 크기 설정이 더 적은 파라미터로도 더 나은 성능 스케일링을 가능하게 하는가?
• RQ5 헤드 크기가 헤드 수나 임베딩 차원보다 더 중요한 용량 제어 파라미터인가?

주요 결과

• 기존의 헤드 크기 히ュ리스틱(헤드 수에 반비례 조정)은 정리 1에서 증명된 바와 같이 저질서 블로킹을 유도하며 표현 능력을 제한한다.
• 고정된 헤드 크기(128)와 더 작은 임베딩 크기(256)를 사용한 모델이 언어 모델링 작업에서 더 큰 임베딩 크기(512)를 사용한 표준 모델보다 성능이 뛰어나다.
• SQuAD와 MNLI에서 고정된 헤드 크기 모델은 512의 임베딩 크기와 8~32개의 헤드를 사용하여 표준 BERT-Large(1024의 임베딩 크기)보다 높은 F1 점수와 정확도를 달성한다.
• 헤드 크기를 고정할 경우 헤드 수가 증가함에 따라 성능이 단조롭게 향상되며, 표준 모델과 달리 임계점을 넘어서 성능이 떨어지지 않는다.
• 헤드 크기를 32에서 128로 증가시키면 성능 향상이 뚜렷하게 나타나 헤드 크기가 핵심 용량 파라미터임을 확인한다.
• 고정된 헤드 크기 접근법은 더 작은 모델을 더 적은 파라미터로 훈련시켜 성능을 유지하거나 향상시키며 추론 비용을 줄일 수 있다.