[논문 리뷰] SparseBERT: Rethinking the Importance Analysis in Self-attention

Shi Han, Jiahui Gao외 5명|arXiv (Cornell University)|2021. 02. 25.

Topic Modeling참고 문헌 39인용 수 13

한 줄 요약

이 논문은 자기주의 주의 중요도를 재고하는 SparseBERT를 제안한다. 주의 행렬의 대각선 요소가 가장 중요도가 낮다는 것을 발견하여, 성능 저하 없이 이를 제거할 수 있음을 보여준다. 기울기 기반 최적화가 가능한 Gumbel-sigmoid를 사용하는 Differentiable Attention Mask(DAM)를 통해, 종단 간에 희소하고 구조적인 주의 패턴을 학습한다. 이로 인해 91.3%의 희소성과 개발 세트에서 80.9%의 GLUE 점수를 달성한다.

ABSTRACT

Transformer-based models are popularly used in natural language processing (NLP). Its core component, self-attention, has aroused widespread interest. To understand the self-attention mechanism, a direct method is to visualize the attention map of a pre-trained model. Based on the patterns observed, a series of efficient Transformers with different sparse attention masks have been proposed. From a theoretical perspective, universal approximability of Transformer-based models is also recently proved. However, the above understanding and analysis of self-attention is based on a pre-trained model. To rethink the importance analysis in self-attention, we study the significance of different positions in attention matrix during pre-training. A surprising result is that diagonal elements in the attention map are the least important compared with other attention positions. We provide a proof showing that these diagonal elements can indeed be removed without deteriorating model performance. Furthermore, we propose a Differentiable Attention Mask (DAM) algorithm, which further guides the design of the SparseBERT. Extensive experiments verify our interesting findings and illustrate the effect of the proposed algorithm.

연구 동기 및 목표

• BERT 사전학습 중 자기주의 주의의 다양한 주의 위치 중요도를 재평가하기 위해.
• 주의 행렬의 대각선 요소가 모델 성능에 실제로 필수적인가를 조사하기 위해.
• 효율적이고 희소한 주의 패턴을 발견하기 위한 학습 가능한, 기울기 기반의 메커니즘을 개발하기 위해.
• 성능을 유지하면서 계산 비용을 줄이는 희소 트랜스포머 아키텍처(SparseBERT)를 설계하기 위해.
• 대각선 주의 제거가 하류 작업 정확도에 해를 끼치지 않으면서도 희소성을 향상시킬 수 있는지 검증하기 위해.

제안 방법

• 부드럽고 기울기 기반 가능한 마스크를 사용해 종단 간에 주의 패턴을 학습하는 Differentiable Attention Mask(DAM) 알고리즘을 제안한다.
• 학습 중에 이진 주의 마스크를 기울기 기반으로 샘플링하기 위해 Gumbel-sigmoid 함수를 도입한다. 이는 기울기 기반 최적화를 가능하게 한다.
• 사전학습 과정의 일부로 주의 마스크를 최적화하여, 마스크와 모델 파라미터를 함께 학습한다.
• 마스크의 부드러움을 제어하기 위해 학습 가능한 온도 파라미터를 사용하며, 직선 전파 추정을 통해 이산적 주의 패턴을 가능하게 한다.
• 구조적 희소성 제약 조건을 적용하여, 결과 주의 패턴이 해석 가능하고 효율적이게(예: 국소적, 전역적, 또는 하이브리드 패턴) 만들도록 한다.
• 성능와 효율성의 균형을 맞추기 위해 모델 정확도와 희소성 정규화를 조합한 가중 손실을 사용한다.

실험 결과

연구 질문

• RQ1 자기주의 주의 행렬의 대각선 요소는 실제로 모델 성능에 중요한가, 아니면 안전하게 제거할 수 있는가?
• RQ2 기울기 기반 종단 간 방법이 수작업으로 설계된 희소 주의 메커니즘과 동등하거나 이를 초월하는 성능을 내는 희소 주의 패턴을 학습할 수 있는가?
• RQ3 사전학습 과정 중 주의 헤드별로 주의 위치(예: 대각선, 인접 요소, 특수 토큰)의 중요도가 어떻게 달라지는가?
• RQ4 대각선 주의를 제거함으로써 얼마나 높은 수준의 희소성을 달성할 수 있으며, 하류 작업 정확도에 영향을 주지 않는가?
• RQ5 하나의 단계로 기울기 기반 마스크 학습이 두 단계로 나누어진 프루닝에 비해 성능과 희소성 제어 측면에서 어떻게 비교되는가?

주요 결과

• 자기주의 주의 행렬의 대각선 요소는 가장 중요도가 낮으며, 여러 작업에서 성능 저하 없이 제거 가능하다.
• 91.3%의 희소성을 가지는 SparseBERT는 개발 세트에서 평균 80.9%의 GLUE 점수를 달성하여 정확도 손실 없이 높은 효율성을 보였다.
• 제안된 DAM 알고리즘은 헤드 간 다양한 구조적 주의 패턴을 학습하며, 인근 요소와 특수 토큰([CLS], [SEP])이 대각선 요소보다 더 높은 주의를 받는다.
• 대각선 주의 제거로 인해 스트라이드 마스크에서는 희소성이 70.4%에서 71.2%로 증가했고, DAM 샘플링 마스크에서는 최대 93.5%까지 증가했으며, 성능 저하 없이 이루어졌다.
• 하나의 단계로 기울기 기반 마스크 학습은 두 단계로 나누어진 프루닝보다 하류 정확도에서 뛰어난 성능을 보였지만, 하이퍼파라미터 λ를 통한 희소성 제어는 다소 제한적이었다.
• 이론적 분석을 통해 대각선 요소가 자기주의 주의 메커니즘에서 보편적 근사에 필수적인 것은 아님을 확인했다.