[논문 리뷰] Repulsive Attention: Rethinking Multi-head Attention as Bayesian Inference

Bang An, Jie Lyu외 7명|arXiv (Cornell University)|2020. 09. 20.

Topic Modeling참고 문헌 38인용 수 7

한 줄 요약

이 논문은 다중 헤드 어텐션의 베이지안 해석인 Repulsive Attention를 제안한다. 이 방법은 입자 최적화 샘플링을 통해 어텐션 헤드 간의 다양성을 강제하여 어텐션 붕괴를 방지한다. 헤드를 후행 분포를 근사하는 입자로 모델링함으로써, 추가 파rameter 없이도 특징 다양성과 모델 표현력을 향상시켜 다양한 NLP 작업에서 일관된 성능 향상을 달성한다.

ABSTRACT

The neural attention mechanism plays an important role in many natural language processing applications. In particular, the use of multi-head attention extends single-head attention by allowing a model to jointly attend information from different perspectives. Without explicit constraining, however, multi-head attention may suffer from attention collapse, an issue that makes different heads extract similar attentive features, thus limiting the model's representation power. In this paper, for the first time, we provide a novel understanding of multi-head attention from a Bayesian perspective. Based on the recently developed particle-optimization sampling techniques, we propose a non-parametric approach that explicitly improves the repulsiveness in multi-head attention and consequently strengthens model's expressiveness. Remarkably, our Bayesian interpretation provides theoretical inspirations on the not-well-understood questions: why and how one uses multi-head attention. Extensive experiments on various attention models and applications demonstrate that the proposed repulsive attention can improve the learned feature diversity, leading to more informative representations with consistent performance improvement on various tasks.

연구 동기 및 목표

• 다중 헤드 어텐션에서 헤드들이 중복된 특징을 학습하여 모델 표현력이 제한되는 어텐션 붕괴 문제를 해결하기 위해.
• 단일 헤드 어텐션 대비 다중 헤드 어텐션의 성능 향상 이유를 원리적이고 이론적으로 기반한 설명을 제공하기 위해.
• 추가로 학습 가능한 파rameter나 명시적 정규화 기법 없이도 어텐션 헤드의 다양성을 향상시키는 방법을 개발하기 위해.
• 이론적 해석이 다양한 어텐션 기반 모델과 NLP 작업 전반에 걸쳐 효과적인지 입증하기 위해.

제안 방법

• 논문은 다중 헤드 어텐션을 베이지안 추론 문제로 재정의하며, 각 어텐션 헤드를 어텐션 파ram터의 후행 분포에서 샘플링하는 입자로 간주한다.
• Liu & Wang (2016)의 입자 최적화 샘플링 기법을 활용하여 파aram터 공간 내에서 헤드 간의 거리 감소를 최소화함으로써 상호 배타성을 강제한다.
• 명시적 정규화를 피하기 위해 최적화 과정 중 입자 간의 본질적 분산을 활용하여 파aram터 공간 내 다양한 모드를 탐색하도록 유도한다.
• 표준 어텐션 모듈에 입자 최적화를 통합한 엔드 투 엔드 학습 체계를 통해 프레임워크를 구현한다.
• 이 방법은 트랜스포머, BERT, 순차적-순차적 아키텍처를 포함한 다양한 어텐션 모델로 일반화 가능하다.

실험 결과

연구 질문

• RQ1 왜 다중 헤드 어텐션은 단일 헤드 어텐션보다 모델 성능을 향상시키는가?
• RQ2 추가로 학습 가능한 파ram터 없이 어떻게 어텐션 헤드의 다양성을 명시적으로 장려할 수 있는가?
• RQ3 다중 헤드 어텐션의 다양한 표현을 포괄하는 데서 효과적인 이론적 근거는 무엇인가?
• RQ4 어텐션 헤드 간의 상호 배타성을 강제하면 다양한 NLP 작업 전반에서 일관된 성능 향상이 이루어지는가?

주요 결과

• Repulsive Attention는 다중 헤드 어텐션의 특징 다양성을著격히 향상시켜 헤드 간의 중복성을 감소시켰다.
• 텍스트 분류, 기계 번역, 개괄 요약 등 다양한 NLP 작업에서 일관된 성능 향상을 달성했다.
• IWSLT14 De-En 번역 작업에서 Repulsive Attention를 적용한 Transformer-small 모델은 표준 다중 헤드 어텐션보다 낮은 음수 로그우도 손실을 기록했다.
• 개괄 요약 작업에서 GraphWriter 모델에 Repulsive Attention를 적용한 결과, 지식 그래프 커버리지가 10% 향상되었고 반복적인 절문이 감소했다.
• 인간 평가 결과, Repulsive Attention를 사용한 모델이 기준 모델 대비 더 구조적으로 유의미한 텍스트를 생성하는 것으로 확인되었다.
• 실험 결과, 최적의 어텐션 헤드 수가 존재함을 확인하였으며, Yelp 감성 분류에서는 약 20개, Transformer-small에서는 약 4개로 분석되었으며, 이는 다양성과 과적합 사이의 상충 관계 이론 분석을 뒷받침한다.