[논문 리뷰] Pruning Redundant Mappings in Transformer Models via Spectral-Normalized Identity Prior

Zi Lin, Jeremiah Zhe Liu외 3명|arXiv (Cornell University)|2020. 10. 05.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 함수 노름 임계값 설정을 통해 잔차 모듈 전체(예: 어텐션 헤드, 피드포워드 네트워크 또는 전체 레이어)가 항등 사상으로 수렴하도록 유도함으로써 전체 잔차 모듈을 대상으로 하는 구조적 프루닝 방법인 스펙트럴 정규화 식별 우선순위(SNIP)를 제안한다. 스펙트럴 정규화를 통해 활성화 분포를 안정화함으로써 SNIP는 50% 모델 압축에서 최신 기술 수준의 성능을 달성하며, 기존 방법과 비교해 GLUE 작업 전체 평균적으로 0.5–1.0% 향상된 정확도를 기록한다.

ABSTRACT

Traditional (unstructured) pruning methods for a Transformer model focus on regularizing the individual weights by penalizing them toward zero. In this work, we explore spectral-normalized identity priors (SNIP), a structured pruning approach that penalizes an entire residual module in a Transformer model toward an identity mapping. Our method identifies and discards unimportant non-linear mappings in the residual connections by applying a thresholding operator on the function norm. It is applicable to any structured module, including a single attention head, an entire attention block, or a feed-forward subnetwork. Furthermore, we introduce spectral normalization to stabilize the distribution of the post-activation values of the Transformer layers, further improving the pruning effectiveness of the proposed methodology. We conduct experiments with BERT on 5 GLUE benchmark tasks to demonstrate that SNIP achieves effective pruning results while maintaining comparable performance. Specifically, we improve the performance over the state-of-the-art by 0.5 to 1.0% on average at 50% compression ratio.

연구 동기 및 목표

• 구조가 없는, 가중치 수준의 프루닝이 파rameter 감소에도 불구하고 추론 지연을 줄이지 못하는 한계를 해결하기 위해.
• 모듈 수준(예: 어텐션 헤드, 피드포워드 하위네트워크 등)에서의 구조적 프루닝을 탐색하여 모델 아키텍처를 수정하고 효율성을 향상시키기 위해.
• 스펙트럴 정규화를 통해 활성화 분포를 안정화시켜 프루닝 효과를 향상시키기 위해.
• 구조적 프루닝에 식별 우선순위를 도입하면 기존 방법보다 성능-압축 트레이드오프가 향상됨을 보여주기 위해.

제안 방법

• 잔차 매핑의 함수 노름에 임계값 설정 연산자를 적용하여 중요도가 낮은 비선형 성분을 식별하고 제거한다.
• 전체 하위모듈(예: 어텐션 헤드 또는 FFN 레이어)이 항등 함수로 행동하도록 유도하는 식별 유도 우선순위를 도입한다.
• 각 모듈의 가중치 행렬에 스펙트럴 정규화를 적용하여 최대 특이값을 제어함으로써 후행 활성화 분포를 안정화시킨다.
• 미세조정 중 반복적으로 적용함으로써 연속적인 압축 곡선과 다양한 아키텍처 선택 가능성을 제공한다.
• 단일 어텐션 헤드, 다중 어텐션 헤드, 피드포워드 네트워크 또는 전체 레이어 등 다양한 프루닝 세분성 수준을 지원한다.
• 고정된 압축 비율에서 성능을 측정하기 위해 BERT 기반 5개의 GLUE 작업에서 평가한다.

실험 결과

연구 질문

• RQ1 Transformer의 전체 잔차 모듈에 대한 구조적 프루닝이 비구조적 가중치 프루닝보다 더 나은 성능-압축 트레이드오프를 이끌 수 있는가?
• RQ2 잔차 매핑에 항등 함수 유도 우선순위를 도입하면 프루닝 중 모델의 강건성과 일반화 능력이 향상되는가?
• RQ3 스펙트럴 정규화가 깊은 트랜스포머 모델에서 구조적 프루닝의 안정성과 효과를 어떻게 향상시키는가?
• RQ4 다른 프루닝 세분성 수준(단일 헤드, 다중 어텐션 헤드, FFN, 전체 레이어)이 최종 성능에 얼마나 영향을 미치는가?
• RQ5 남아 있는 프루닝된 구성 요소들이 작업에 따라 특화될 수 있으며, 이러한 유연성이 압축 효율성을 향상시키는가?

주요 결과

• SNIP는 50% 모델 압축에서 최신 기술 수준의 성능을 달성하며, 기존 방법과 비교해 5개의 GLUE 벤치마크 작업 평균적으로 정확도를 0.5~1.0% 향상시켰다.
• 어텐션과 피드포워드 하위네트워크를 별도로 프루닝하는 것이 전체 레이어나 단일 헤드를 프루닝하는 것보다 더 우수한 성능을 내며, 작업에 특화된 구조적 부여를 시사한다.
• 사전학습 기간 동안 더 희소하고 규제된 레이어 매핑을 유도하며, 다양한 NLP 작업에서 일관된 성능 향상을 기록한다.
• 스펙트럴 정규화가 활성화 분포의 안정성을 크게 향상시켜 프루닝 효과와 모델 일반화 능력을 강화한다.
• 가중치 수준의 프루닝보다 모듈 수준(예: 개별 어텐션 헤드 또는 FFN 레이어)에서의 프루닝이 더 높은 추론 효율성과 더 유연한 아키텍처 설계를 가능하게 한다.
• 남아 있는 프루닝된 구성 요소는 작업에 따라 달라지며, 이는 최적의 아키텍처가 작업에 따라 달라지며 구조적 프루닝을 통해 발견될 수 있음을 시사한다.