[논문 리뷰] Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned

Elena Voita, David Talbot외 3명|Zurich Open Repository and Archive (University of Zurich)|2019. 05. 23.

Natural Language Processing Techniques참고 문헌 30인용 수 70

한 줄 요약

이 논문은 Transformer NMT에서 인코더 헤드의 중요성을 분석하여 소수의 헤드만이 결정적이며 다수의 헤드는 미세한 BLEU 손실로 가지치기가 가능하다는 것을 differentiable L0 유사 게이팅 방법으로 보여준다. 또한 헤드를 위치적, 구문적, 희소어 역할로 특징화한다.

ABSTRACT

Multi-head self-attention is a key component of the Transformer, a state-of-the-art architecture for neural machine translation. In this work we evaluate the contribution made by individual attention heads in the encoder to the overall performance of the model and analyze the roles played by them. We find that the most important and confident heads play consistent and often linguistically-interpretable roles. When pruning heads using a method based on stochastic gates and a differentiable relaxation of the L0 penalty, we observe that specialized heads are last to be pruned. Our novel pruning method removes the vast majority of heads without seriously affecting performance. For example, on the English-Russian WMT dataset, pruning 38 out of 48 encoder heads results in a drop of only 0.15 BLEU.

연구 동기 및 목표

• 개별 인코더 헤드에 번역 품질이 얼마나 의존하는지 파악한다.
• 중요 헤드의 일관되고 해석 가능한 역할을 식별한다(위치적, 구문적, 희소어).
• 인코더 자기-주의, 디코더 자기-주의, 디코더-인코더 주의 전체에서 어떤 헤드가 가장 큰 영향을 주는지 평가한다.
• 성능을 유지하면서 중복 헤드를 제거하는 가지치기 방법을 입증한다.

제안 방법

• 레이어별 관련 전파(LRP)로 각 헤드의 기여도를 상위-1 로짓에 대한 기여도로 순위를 매겨 헤드의 중요도를 계산한다.
• 헤드를 세 가지 기능으로 특징짓는다: 위치적(인접 토큰에 주의), 구문적(의존관계의 토큰에 주의), 희소어(가장 드문 토큰에 주의).
• EOS를 제외한 평균 최대 주의 가중치로 헤드 신뢰도를 평가한다.
• 수렴된 전체 모델 학습 후에도 계속 학습하는 동안 헤드를 가지치기하기 위해 Hard Concrete 게이트를 이용한 L0 규제의 미분 가능 완화를 도입한다.
• 인코더 자기-주의에 게이트를 적용하고(이후 모든 주의로 확장) BLEU에 대한 영향을 평가하기 위해 파인튜닝한다.
• 사전에 훈련된/가지치기된 모델에서의 가지치기와, 소수 헤드 수를 가지고 처음부터 재훈련하는 경우를 비교한다.

실험 결과

연구 질문

• RQ1 개별 인코더 헤드에 번역 품질이 얼마나 의존하는가?
• RQ2 인코더 헤드는 언어 쌍과 도메인 전반에서 일관되고 해석 가능한 역할을 보이는가?
• RQ3 어떤 주의 유형(인코더 자기-, 디코더 자기-, 디코더-인코더 주의)이 헤드 수에 가장 민감한가?
• RQ4 처음부터 재훈련 없이도 BLEU 손실이 거의 없도록 많은 헤드를 가지치기할 수 있는가?
• RQ5 가지치기된 헤드의 역할이 위치적/구문적/희소어 기능과 어떻게 관련되는가?

주요 결과

• 번역 품질에 매우 중요한 소수의 헤드가 존재한다.
• 중요한 헤드들은 전문화되고 해석 가능한 기능을 가지며(위치적 관계, 구문 관계, 희소어에 집중)다.
• 위치적 헤드는 주로 인접 토큰에 주의하고, 높은 신뢰도와 LRP 관련성으로 상위 중요 헤드와 정렬된다.
• 구문적 헤드는 특정 의존 관계(nsubj, dobj, amod, advmod 등)에 주목하며 구문 구조에 비해 베이스라인을 상회하는 정확도를 보인다.
• 첫 번째 계층의 단일 '희소어' 헤드는 가장 드문 토큰에 집중하는 경향이 있어 뚜렷한 전문 역할을 나타낸다.
• 미분 가능 헤드 게이트(Hard Concrete)를 이용한 새로운 가지치기 방식은 대부분의 헤드를 최소 BLEU 손실로 가지치기할 수 있으며, EN-RU OpenSubtitles의 경우 48개에서 4개로 가지치면 BLEU 손실이 0.25에 불과하다.
• WMT EN-RU에서 10개의 인코더 헤드로도 전체 모델과의 BLEU 차이를 0.15 이내로 유지할 수 있으며, 다수의 헤드는 큰 영향 없이 제거 가능하다.
• 모든 주의 유형을 가지치기하면 디코더-인코더 주의가 가장 중요한 반면, 인코더 자기 주의는 특히 OpenSubtitles 데이터에서 더 공격적으로 가지치기할 수 있다.
• 수렴된 전체 모델에서 가지치기된 모델은 핵심 헤드를 유지하고 계층 간 기능을 보존할 수 있지만, 같은 희소 구조로 처음부터 재훈련하는 경우 가지치기 기반 희소화보다 성능이 떨어진다.