[논문 리뷰] The Depth-to-Width Interplay in Self-Attention

Yoav Levine, Noam Wies외 3명|arXiv (Cornell University)|2020. 06. 22.

Ferroelectric and Negative Capacitance Devices인용 수 7

한 줄 요약

이 논문은 자기주의성 네트워크에서 깊이-너비 상호보완성에 대해 이론적이고 실증적으로 연구하며, 깊이 효율성과 깊이 비효율성의 전이가 너비에 따라 달라지는 것을 규명한다. 이는 1조 파라미터 모델의 경우 너비 3만이 최적임을 보여주며, 깊이 효율성 이론을 뛰어넘어 극도로 넓히는 것이 핵심임을 시사한다.

ABSTRACT

Self-attention architectures, which are rapidly pushing the frontier in natural language processing, demonstrate a surprising depth-inefficient behavior: previous works indicate that increasing the internal representation (network width) is just as useful as increasing the number of self-attention layers (network depth). We theoretically predict a width-dependent transition between depth-efficiency and depth-inefficiency in self-attention. We conduct systematic empirical ablations on networks of depths 6 to 48 that clearly reveal the theoretically predicted behaviors, and provide explicit quantitative suggestions regarding the optimal depth-to-width allocation for a given self-attention network size. The race towards beyond 1-Trillion parameter language models renders informed guidelines for increasing self-attention depth and width in tandem an essential ingredient. Our guidelines elucidate the depth-to-width trade-off in self-attention networks of sizes up to the scale of GPT3 (which we project to be too deep for its size), and beyond, marking an unprecedented width of 30K as optimal for a 1-Trillion parameter network.

연구 동기 및 목표

• 자기주의성 메커니즘에서 네트워크의 깊이와 너비 간의 상호작용을 이해하고, 특히 대규모 언어 모델의 맥락에서 이를 분석한다.
• 깊이 효율성 개념을 도전하기 위해 너비에 따라 달라지는 제도 전이를 규명한다.
• 고정된 파라미터 예산 하에서 깊이와 너비 간의 파라미터 할당에 대해 원칙적이고 정량적인 지침을 제공한다.
• 깊이 6에서 48까지의 네트워크에서 체계적인 분석 실험을 통해 이론적 예측을 검증한다.
• 다음 세대의 조각 파라미터 언어 모델 설계를 위해 깊이-너비 상호보완성을 최적화함으로써 정보를 제공한다.

제안 방법

• 비선형성이나 정규화 없이 단순화된 자기주의성 모델의 이론적 분석을 통해 핵심 연결성과 표현력에 집중한다.
• 이론적 모델링을 통해 너비에 따라 깊이 효율성과 깊이 비효율성의 전이점이 어떻게 결정되는지 유도한다.
• 깊이 6에서 48까지의 다양한 너비를 가진 네트워크에서 체계적인 분석 실험을 통해 퍼즐리티와 손실을 측정함으로써 실증적 평가를 수행한다.
• 로그 너비 공간에서 선형 회귀를 사용하여 실증적 전이점을 피팅하여 이론적 예측을 검증한다.
• 의심스러운 전이점 근처에서 조밀한 측정을 수행하여 추정 정확도를 향상시키고 실증 오차를 줄인다.
• 관측된 전이 추세의 적합도를 검증하기 위해 통계적 지표(χ²_red 및 R²)를 사용한다.

실험 결과

연구 질문

• RQ1 자기주의성 네트워크에서 깊이-너비 상호보완성은 네트워크 너비에 따라 어떻게 변화하며, 이론적으로 예측된 바와 같이 전이 제도가 나타나는가?
• RQ2 일정 너비 이하에서 네트워크 깊이가 성능 향상에 기여하는 정도는 어느 정도이며, 어느 순간부터 넓히는 것이 깊게 하는 것보다 더 효과적인가?
• RQ3 특히 대규모 스케일에서 고정된 총 파라미터 예산 하에서 자기주의성 네트워크의 최적 깊이-너비 할당은 무엇인가?
• RQ4 자기주의성 모델의 실증적 성능은 너비가 증가함에 따라 깊이 효율성에서 깊이 비효율성으로의 전이를 이론적으로 예측한 바와 일치하는가?
• RQ5 전이점은 깊이에 따라 어떻게 스케일링되며, 지수 함수로 모델링할 수 있는가?

주요 결과

• 실증적으로 깊이 효율성과 깊이 비효율성의 전이 제도가 명확히 관측되며, 이 전이점은 깊이에 따라 지수적으로 증가한다.
• 1조 파라미터 자기주의성 네트워크의 경우 최적 너비가 3만으로 예측되며, 이는 깊게 하는 것보다 극도로 넓히는 것이 필수적임을 시사한다.
• 실증 데이터는 전이점이 로그 너비 공간에서 선형 추세를 따르며, R² = 0.998 및 χ²_red = 0.854로 이론 모델에 매우 잘 맞는다.
• 깊이 >6인 네트워크는 총 파라미터 수에 따라 성능 추세를 보이며 깊이-너비 비율에 따라 달라지지 않지만, 여전히 기저의 제도 전이가 행동에 영향을 준다.
• 일정 너머의 너비에서 깊이를 늘리는 것은 성능 향상에 대한 기여도가 점점 감소하며, 넓히는 것이 성능 향상의 주요 경로가 된다.
• 최적의 깊이-너비 할당은 모든 크기에서 균일하지 않으며, 오히려 너비에 따라 달라지며 전이점은 깊이에 따라 지수적으로 증가한다.