[논문 리뷰] Alleviating the Inequality of Attention Heads for Neural Machine Translation

Zewei Sun, Shujian Huang외 2명|arXiv (Cornell University)|2020. 09. 21.

Multimodal Machine Learning Applications참고 문헌 21인용 수 6

한 줄 요약

이 논문은 백프로파게이션 중에 헤드를 무작위로 또는 전략적으로 마스킹함으로써 트랜스포머 기반 신경 기계 번역에서 주의 헤드의 불균형을 완화하는 훈련 방법인 HeadMask를 제안한다. 실험 결과 여러 언어 쌍에서 번역 성능 향상이 나타났으며, 헤드 중요도의 분산이 감소하고 모델의 강건성이 향상되어 균형 잡힌 헤드 훈련이 모델 용량과 일반화 능력을 향상시킨다는 것이 확인되었다.

ABSTRACT

Recent studies show that the attention heads in Transformer are not equal. We relate this phenomenon to the imbalance training of multi-head attention and the model dependence on specific heads. To tackle this problem, we propose a simple masking method: HeadMask, in two specific ways. Experiments show that translation improvements are achieved on multiple language pairs. Subsequent empirical analyses also support our assumption and confirm the effectiveness of the method.

연구 동기 및 목표

• 트랜스포머 모델에서 주의 헤드 중요도의 불균형을 조사하고 해결하는 것.
• 불균형한 훈련이 특정 헤드가 지배하고 다른 헤드가 부족하게 사용되는 원인임을 검증하는 것.
• 모든 주의 헤드 간에 더 균형 잡힌 학습이 이루어지도록 훈련 방법을 설계하는 것.
• 헤드 의존도를 줄임으로써 모델의 강건성과 번역 품질 향상이 실제로 이루어지는지 경험적으로 검증하는 것.

제안 방법

• 각 훈련 배치 동안 일부 주의 헤드를 무작위로 선택하고 마스킹하는 마스킹 기반 훈련 기법인 HeadMask를 제안한다.
• 가장 중요한 헤드부터 먼저 마스킹하여 약한 헤드에게 더 많은 훈련 부담을 분산시키는 변종을 도입한다.
• 파라미터 업데이트 없이 역전파를 통해 기반한 중요도 추정을 통해 핵심 헤드를 식별한다.
• 전방 및 역방향 전파 중에 헤드 마스킹을 적용하고, 마스킹되지 않은 헤드만 업데이트하여 균형 잡힌 학습을 강제한다.
• 두 단계 과정을 사용한다: 첫 번째로, 업데이트 없이 손실와 기울기를 계산한다; 두 번째로, 최고로 활성화되는 헤드를 마스킹한 후 최종 파라미터 업데이트를 수행한다.
• 손실에 대한 헤드 제거 민감도를 측정하기 위해 타일러 근사법을 사용하여 헤드 중요도를 평가한다.

실험 결과

연구 질문

• RQ1 번역 과정에서 트랜스포머의 주의 헤드가 얼마나 중요도 면에서 불균형한가?
• RQ2 주의 헤드의 불균형한 훈련이 몇몇 핵심 헤드에 대한 모델 의존도를 초래하는가?
• RQ3 훈련 중 마스킹 전략을 적용하면 헤드 중요도 분산이 줄어들고 전체 성능이 향상되는가?
• RQ4 특정 헤드에 대한 의존도를 줄이면 모델의 강건성과 일반화 능력이 향상되는가?
• RQ5 무작위 마스킹과 중요도 기반 마스킹 중 어느 전략이 더 높은 번역 품질과 더 균형 잡힌 헤드 분포를 제공하는가?

주요 결과

• Random-18 마스킹은 기준 모델 대비 Zh→En에서 +0.42 BLEU, Ro→En에서 +0.87 BLEU, Tr→En에서 +0.79 BLEU 향상시켰다.
• Impt-18는 Ro→En에서 가장 우수한 성능을 기록하여 +0.78 BLEU 향상되었지만, 다른 언어 쌍에선 Random-18에 뒤지지 않았다.
• HeadMask의 두 변종 모두 헤드 중요도의 분산을 크게 줄였으며, Zh→En에서 Impt-18는 기준 모델의 77.28에서 9.13으로 감소시켰다.
• 모든 언어 쌍에서 평균 헤드 중요도가 감소하여 모델이 개별 헤드에 대한 의존도가 줄어들었다.
• HeadMask로 훈련된 모델는 중요한 헤드를 추론 중 마스킹해도 성능 유지가 가능하여 더 강건한 성능을 보였다.
• 경험적 분석을 통해 훈련 중 중요한 헤드를 마스킹하면 더 평탄한 헤드 중요도 분포와 더 균형 잡힌 모델 행동이 가능하다는 것이 확인되었다.