[논문 리뷰] Multi-branch Attentive Transformer

Fan Yang, Shufang Xie외 5명|arXiv (Cornell University)|2020. 06. 18.

Advanced Neural Network Applications참고 문헌 33인용 수 15

한 줄 요약

이 논문은 다중 독립 다중 헤드 어텐션 브랜치의 출력을 평균화함으로써 성능을 향상시키는 새로운 트랜스포머 변종인 Multi-Branch Attentive Transformer (MAT)을 제안한다. 사전 훈련된 단일 브랜치 트랜스포머로부터의 프록시멀 초기화와 드롭-브랜치 정규화를 활용하여, 기계 번역, 코드 생성, 자연어 이해 작업 전반에서 뚜렷한 성능 향상을 이룩한다. 이는 순서 학습에서 다중 브랜치 어텐션의 효과성을 입증한다.

ABSTRACT

While the multi-branch architecture is one of the key ingredients to the success of computer vision tasks, it has not been well investigated in natural language processing, especially sequence learning tasks. In this work, we propose a simple yet effective variant of Transformer called multi-branch attentive Transformer (briefly, MAT), where the attention layer is the average of multiple branches and each branch is an independent multi-head attention layer. We leverage two training techniques to regularize the training: drop-branch, which randomly drops individual branches during training, and proximal initialization, which uses a pre-trained Transformer model to initialize multiple branches. Experiments on machine translation, code generation and natural language understanding demonstrate that such a simple variant of Transformer brings significant improvements. Our code is available at \url{https://github.com/HA-Transformer}.

연구 동기 및 목표

• 자연어 처리 분야에서 순서 학습 작업에 특히 적합한 다중 브랜치 아키텍처의 잠재력을 탐색하기 위해.
• 컴퓨터 비전 분야에서의 성공에도 불구하고 트랜스포머에서 다중 브랜치 설계가 여전히 미흡하게 활용되고 있는 문제를 해결하기 위해.
• 표준 다중 헤드 어텐션을 넘어서 구조적인 아키텍처 확장을 통해 모델의 일반화 능력과 성능을 향상시키기 위해.
• 더 깊고 다중 브랜치 트랜스포머 변종을 훈련시키기 위한 효과적인 훈련 기법—드롭-브랜치 및 프록시멀 초기화—를 개발하기 위해.
• 기계 번역, 코드 생성, 자연어 이해를 포함한 다양한 NLP 벤치마크에서 MAT의 효과성을 경험적으로 검증하기 위해.

제안 방법

• MAT는 표준 다중 헤드 어텐션 레이어를 다중 독립 다중 헤드 어텐션 브랜치로 대체하며, 이들의 출력을 평균화하여 최종 출력을 구성한다.
• MAT의 각 브랜치는 입력 쿼리, 키, 밸류를 공유하지만, 별개의 학습된 파라미터를 가진 표준 다중 헤드 어텐션 레이어이다.
• 훈련 중에 드롭-브랜치 정규화가 적용되며, 개별 브랜치가 무작위로 제거되어 상호 적응을 방지하고 일반화 능력을 향상시킨다.
• 프록시멀 초기화는 사전 훈련된 단일 브랜치 트랜스포머를 사용하여 MAT의 다중 브랜치를 초기화함으로써 훈련 안정성과 수렴 성능을 향상시킨다.
• 아키텍처는 표준 트랜스포머와 동일한 입력 및 출력 차원을 유지하므로 직접 비교 및 즉각적인 교체가 가능하다.
• 이 방법은 각 헤드 내부의 연결(concatenation)과 브랜치 간의 평균화(averaging)를 모두 활용하여 다중 브랜치 어텐션 메커니즘을 형성한다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전에서 영감을 얻은 다중 브랜치 어텐션 메커니즘은 기계 번역 및 코드 생성과 같은 순서 학습 작업에서 성능 향상에 기여할 수 있는가?
• RQ2 드롭-브랜치 정규화는 다중 브랜치 트랜스포머의 훈련 안정성과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 사전 훈련된 단일 브랜치 트랜스포머에서 유도된 프록시멀 초기화는 MAT의 수렴성과 성능 향상에 기여하는가?
• RQ4 다중 브랜치 어텐션으로부터의 성능 향상은 어텐션 레이어에 국한되는가, 아니면 피드포워드 네트워크로도 확장되는가?
• RQ5 브랜치 수와 히든 차원 등의 하이퍼파라미터는 다양한 NLP 작업에서 MAT의 성능에 어떤 영향을 미치는가?

주요 결과

• MAT는 표준 트랜스포머보다 기계 번역 작업에서 뚜렷한 성능 향상을 이룩하였으며, IWSLT En→De에서 BLEU 점수는 최대 0.60 향상되었고, IWSLT De→En에서는 0.50 향상되었다.
• IWSLT Fr→En 번역 작업에서 프록시멀 초기화와 드롭-브랜치를 적용한 MAT는 3개의 브랜치와 1024의 피드포워드 차원을 사용할 때 기준 모델 대비 1.33 BLEU 포인트 향상되었다.
• 무작위로 헤드를 제거하는 방식(드롭-브랜치의 한 형태)을 사용한 변종은 IWSLT En→Fr에서 4개의 브랜치와 2048의 피드포워드 차원을 사용할 때 0.48 BLEU 포인트 향상되었다.
• 코드 생성 작업에 적용했을 때도 MAT는 표준 트랜스포머를 능가하였으며, 다양한 NLP 작업에서 일관된 성능 향상을 보였다.
• 연구 결과, 피드포워드 네트워크에 다중 브랜치를 도입하면 성능이 약간 떨어지는 것으로 나타나, 다중 브랜치 설계가 어텐션 레이어에서 가장 효과적임을 시사한다.
• 프록시멀 초기화는 모든 평가 설정에서 MAT 성능을 일관되게 향상시켰으며, 작업 및 설정에 따라 0.15에서 1.33 BLEU 포인트의 성능 향상이 관찰되었다.