[논문 리뷰] The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers

Zonglin Li, Chong You외 9명|arXiv (Cornell University)|2022. 10. 12.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 훈련된 트랜스포머 모델에서 발생하는 '게으른 뉴런' 현상, 즉 밀집 연산에도 불구하고 중간 MLP 활성화가 매우 희박해지는 현상(비제로 요소 비율이 3–6%에 불과함)을 규명하고 분석한다. 이 희박성은 다양한 아키텍처와 데이터셋에서 훈련 과정에서 자연스럽게 발생하며, Top-k 프루닝을 통한 더 엄격한 희박성 강제화는 성능 손실 없이 모델의 강건성, 캘리브레이션 및 효율성을 향상시킨다.

ABSTRACT

This paper studies the curious phenomenon for machine learning models with Transformer architectures that their activation maps are sparse. By activation map we refer to the intermediate output of the multi-layer perceptrons (MLPs) after a ReLU activation function, and by sparse we mean that on average very few entries (e.g., 3.0% for T5-Base and 6.3% for ViT-B16) are nonzero for each input to MLP. Moreover, larger Transformers with more layers and wider MLP hidden dimensions are sparser as measured by the percentage of nonzero entries. Through extensive experiments we demonstrate that the emergence of sparsity is a prevalent phenomenon that occurs for both natural language processing and vision tasks, on both training and evaluation data, for Transformers of various configurations, at layers of all depth levels, as well as for other architectures including MLP-mixers and 2-layer MLPs. We show that sparsity also emerges using training datasets with random labels, or with random inputs, or with infinite amount of data, demonstrating that sparsity is not a result of a specific family of datasets. We discuss how sparsity immediately implies a way to significantly reduce the FLOP count and improve efficiency for Transformers. Moreover, we demonstrate perhaps surprisingly that enforcing an even sparser activation via Top-k thresholding with a small value of k brings a collection of desired but missing properties for Transformers, namely less sensitivity to noisy training data, more robustness to input corruptions, and better calibration for their prediction confidence.

연구 동기 및 목표

• 밀집 연산에도 불구하고 훈련된 트랜스포머의 중간 활성화가 왜 매우 희박해지는지 이해한다.
• 이 희박성이 데이터셋 특성에 기인한 것인지, 아니면 다양한 아키텍처와 데이터 유형에 걸쳐 일반적인 현상인지 조사한다.
• 희박성이 모델 효율성, 강건성 및 캘리브레이션에 미치는 영향을 탐구한다.
• Top-k 프루닝을 통한 강제 희박성이 모델의 일반화 능력과 신뢰성 향상에 기여하는지 확인한다.
• 희박성이 명시적 정규화나 희박성 유도 목표 없이도 훈련 동역학에 의해 어떻게 발생하는지 설명한다.

제안 방법

• 다양한 트랜스포머 아키텍처와 작업에서 ReLU 활성화된 MLP 출력의 비제로 요소 비율로 활성화 희박성을 측정한다.
• 자연적, 무작위, 무한 데이터에서 모델을 훈련시켜 데이터 분포 영향을 분리한다.
• 다양한 너비와 옵티마이저를 사용한 이중층 MLP를 사용해 더 단순한 모델에서 희박성을 연구하고 단일 모드 희박성 패턴을 관찰한다.
• Top-k 프루닝을 적용해 극단적인 희박성을 강제로 적용하고, 후속 작업에서의 강건성과 캘리브레이션을 평가한다.
• 초기화 시 기울기 동역학을 분석해 희박성 발생을 훈련 동역학과 연결한다.
• 다른 모델 깊이, 너비, 훈련/평가 데이터 설정 간의 희박성을 비교한다.

실험 결과

연구 질문

• RQ1 트랜스포머에서 활성화 희박성은 다양한 아키텍처, 작업, 데이터 분포에서 얼마나 일반적인 현상인가?
• RQ2 희박성은 데이터 특성 탓인지, 아니면 훈련 동역학 탓인가?
• RQ3 모델 너비, 파rameterization 영역(과소/과잉/중간)과 활성화 희박성 간의 관계는 무엇인가?
• RQ4 Top-k 프루닝을 통한 극단적 희박성 강제화가 모델의 강건성과 신뢰도 캘리브레이션 향상에 기여하는가?
• RQ5 명시적 정규화나 희박성 유도 목표 없이도 왜 트랜스포머에서 희박성이 발생하는가?

주요 결과

• 트랜스포머 MLP 활성화의 희박성은 매우 흔하다: T5-Base는 평균적으로 비제로 요소 비율이 2.7%이며, ViT-B16는 6.3%이다.
• 모델의 깊이와 너비가 커질수록 희박성이 증가하여 더 큰 모델일수록 희박성이 더 강하게 나타난다.
• 자연적 데이터뿐 아니라 무작위 데이터, 무한 데이터 설정에서도 희박성이 유지되어 데이터 의존성이 아님을 시사한다.
• 간단한 이중층 MLP에서도 희박성이 발생하여, 이는 아키텍처 설계가 아닌 훈련 동역학의 성질임을 시사한다.
• 작은 k(예: k=1 또는 2)로 Top-k 프루닝을 적용하면 입력 오염에 대한 강건성이 향상되고 노이즈 있는 레이블에 대한 민감도가 감소한다.
• 희박성은 더 나은 신뢰도 캘리브레이션과 정확도 저하 없이 상당한 FLOP 감소를 가능하게 한다.