[논문 리뷰] Limits to Depth Efficiencies of Self-Attention

Yoav Levine, Noam Wies외 3명|arXiv (Cornell University)|2020. 06. 22.

Ferroelectric and Negative Capacitance Devices인용 수 22

한 줄 요약

이 논문은 자기주의성 네트워크가 넓이 제한으로 인해 깊이 효율성이 떨어지는 계수 깊이 임계값 $ L_{\text{th}} = \log_3(d_x) $ 를 규명한다. 넓이 제한으로 인해 이 이상의 깊이에서는 성능 향상이 급격히 감소함을 설명한다. 넓이 증가와 깊이 증가가 실험적으로 유사한 성능 향상을 보이는 이유를 밝히며, 이 임계값 이하에서는 깊이 효율성이 이중지수적으로 증가하고, 이후에는 추가적인 깊이 증가로 인한 성능 향상이 급격히 감소함을 보여준다.

ABSTRACT

Self-attention architectures, which are rapidly pushing the frontier in natural language processing, demonstrate a surprising depth-inefficient behavior: Empirical signals indicate that increasing the internal representation (network width) is just as useful as increasing the number of self-attention layers (network depth). In this paper, we theoretically study the interplay between and width in self-attention, and shed light on the root of the above phenomenon. We invalidate the seemingly plausible hypothesis by which widening is as effective as deepening for self-attention, and show that in fact stacking self-attention layers is so effective that it quickly saturates a capacity of the network width. Specifically, we pinpoint a depth that is logarithmic in $d_x$, the network width: $L_{ extrm{th}}=\log_{3}(d_x)$. For networks of that is below the threshold, we establish a double-exponential depth-efficiency of the self-attention operation, while for depths over the threshold we show that depth-inefficiency kicks in. Our predictions strongly accord with extensive empirical ablations in Kaplan et al. (2020), accounting for the different behaviors in the two depth-(in)efficiency regimes. By identifying network width as a limiting factor, our analysis indicates that solutions for dramatically increasing the width can facilitate the next leap in self-attention expressivity.

연구 동기 및 목표

• 자기주의성 네트워크에서 넓이와 깊이를 늘릴 경우 성능 향상이 유사하게 나타나는 경험적 관찰을 이해하는 것.
• 자기주의성 네트워크가 구조적 이점이 있음에도 불구하고 특정 깊이를 초과하면 깊이 효율성이 떨어지는 이유를 조사하는 것.
• 네트워크의 넓이에 기반하여 자기주의성 메커니즘의 이론적 깊이 효율성 한계를 규명하는 것.
• 넓이가 깊이 용량을 제한함으로써 넓이 증가와 깊이 증가가 동일하게 효과적이라는 명백한 역설을 해결하기 위해 넓이가 깊이 효율성에 미치는 영향을 규명하는 것.

제안 방법

• 자기주의성 레이어 내에서의 정보 전파를 바탕으로 네트워크의 넓이 $ d_x $ 를 기반으로 이론적 깊이 임계값 $ L_{\text{th}} = \log_3(d_x) $ 를 유도한다.
• 임계값 이하에서 깊이 효율성의 이중지수적 성장 모델을 사용하여 스택된 자기주의성 레이어의 표현력을 분석한다.
• 임계값을 초과하면 넓이에 의해 제약을 받는 표현력 용량의 포화로 인해 깊이 증가의 성능 향상이 감소함을 규명한다.
• 이론적 분석을 통해 넓이 증가와 깊이 증가가 모든 깊이에서 동일하게 효과적이라는 가설을 반박한다.
• Kaplan 등(2020)의 실험적 분석 결과와 이론적 예측을 비교하여 깊이 영역 전반에 걸쳐 높은 일치를 보임을 확인한다.
• 넓이가 깊이 효율성에 제한 요소로 작용함을 규명하며, 넓이를 더 늘일 경우 표현력 향상의 추가 가능성을 제안한다.

실험 결과

연구 질문

• RQ1 넓이와 깊이가 서로 다른 구조적 역할을 하건대, 왜 자기주의성 네트워크에서 넓이 증가와 깊이 증가가 유사한 성능 향상을 가져오는가?
• RQ2 자기주의성 네트워크가 깊이 효율성이 떨어지는 이론적 깊이 임계값은 무엇인가?
• RQ3 네트워크의 넓이는 자기주의성 메커니즘의 효과적 깊이 용량을 어떻게 제한하는가?
• RQ4 왜 깊이 효율성이 포화되기 전에 이중지수적 성장 패턴을 보이는가?
• RQ5 이론적 예측이 Kaplan 등(2020)의 실험적 분석 결과와 어느 정도 일치하는가?

주요 결과

• 자기주의성의 깊이 효율성에 대한 임계값은 $ L_{\text{th}} = \log_3(d_x) $ 로, 여기서 $ d_x $ 는 네트워크의 넓이다.
• 이 임계값 이하에서는 깊이 효율성이 이중지수적으로 증가하여 매우 효과적인 표현력 용량 스케일링을 나타낸다.
• 임계값을 초과하면 넓이에 의해 제약을 받는 표현력 용량의 포화로 인해 깊이 비효율성이 발생한다.
• 이론적 예측은 Kaplan 등(2020)의 실험적 분석 결과와 밀도 높은 일치를 보이며, 깊이 영역 전반에 걸쳐 모델의 타당성을 검증한다.
• 넓이 증가와 깊이 증가가 모든 깊이에서 동일하게 효과적이라는 가설을 반박하며, 넓이가 깊이 잠재력의 제한 요소임을 규명한다.
• 현재 스케일을 초월해 네트워크의 넓이를 늘일 경우 자기주의성의 표현력 향상에 상당한 향후 성과를 이끌 수 있음이 규명된다.