[논문 리뷰] Hard-Coded Gaussian Attention for Neural Machine Translation

Weiqiu You, Simeng Sun외 1명|arXiv (Cornell University)|2020. 05. 02.

Natural Language Processing Techniques참고 문헌 28인용 수 11

한 줄 요약

이 논문은 트랜스포머의 모든 학습된 멀티헤드 어텐션 메커니즘을 로컬 위치 중심의 고정된, 입력에 무관한 가우시안 분포로 대체하는 하드코딩된 가우시안 어텐션을 제안한다. 놀랍게도, 인코더와 디코더에서 오직 하드코딩된 자기어텐션만을 사용하는 모델이 네 개의 언어 쌍에서 기준 BLEU 점수에 근접한 성능을 달성하지만, 교차어텐션을 하드코딩된 것으로 대체할 경우 BLEU 점수가 크게 떨어진다. 그러나 단 한 개의 학습된 교차어텐션 헤드만으로도 성능을 복구할 수 있으며, 이는 교차어텐션이 번역 품질에 더 중요하다는 것을 시사한다.

ABSTRACT

Recent work has questioned the importance of the Transformer's multi-headed attention for achieving high translation quality. We push further in this direction by developing a "hard-coded" attention variant without any learned parameters. Surprisingly, replacing all learned self-attention heads in the encoder and decoder with fixed, input-agnostic Gaussian distributions minimally impacts BLEU scores across four different language pairs. However, additionally hard-coding cross attention (which connects the decoder to the encoder) significantly lowers BLEU, suggesting that it is more important than self-attention. Much of this BLEU drop can be recovered by adding just a single learned cross attention head to an otherwise hard-coded Transformer. Taken as a whole, our results offer insight into which components of the Transformer are actually important, which we hope will guide future work into the development of simpler and more efficient attention-based models.

연구 동기 및 목표

• 학습된 멀티헤드 어텐션 기술이 고품질 신경 번역에 필수적인지 조사하기.
• 모든 학습된 어텐션 메커니즘을 고정된, 파rameter-free 대체 기술로 대체했을 때의 영향 평가하기.
• 트랜스포머의 구성 요소(자기어텐션 대비 교차어텐션) 중 번역 성능에 가장 중요한 요소가 무엇인지 규명하기.
• 경쟁 가능한 BLEU 점수를 유지하면서 최소한의 학습된 파rameter 구성 탐색하기.
• 어텐션에 파rameter-free 기술을 도입함으로써 모델 효율성을 향상시키면서도 번역 품질을 유지하기.

제안 방법

• 지정된 로컬 윈도우 내 특정 위치 중심의 고정된 가우시안 분포를 사용하여 인코더와 디코더의 자기어텐션 헤드를 모두 고정된 분포로 대체하고, 학습된 파rameter를 사용하지 않는다.
• 비교를 위한 기준으로 완전히 학습된 멀티헤드 교차어텐션을 유지한다.
• 교차어텐션을 하드코딩된 가우시안 분포로 대체하여 번역 품질에 미치는 영향을 평가한다.
• 기본적으로 하드코딩된 모델에 단 하나의 학습된 교차어텐션 헤드를 도입하여 성능 복구 여부를 확인한다.
• 색인 기반 어텐션과 이진 커널을 사용한 변형을 도입하여 어텐션 메커니즘을 더욱 단순화한다.
• 네 개의 언어 쌍에서 BLEU 점수, 디코딩 속도, 메모리 효율성 등을 기준으로 모델을 평가한다.

실험 결과

연구 질문

• RQ1 인코더와 디코더의 자기어텐션을 고정된, 학습되지 않은 가우시안 분포로 완전히 대체해도 번역 품질이 크게 떨어지지 않을 수 있는가?
• RQ2 신경 번역에서 높은 BLEU 점수를 유지하기 위해 자기어텐션에 비해 교차어텐션이 얼마나 중요한가?
• RQ3 모든 어텐션 메커니즘을 하드코딩한 후 성능을 복구하기 위해 필요한 최소한의 학습된 어텐션 파rameter 수는 얼마인가?
• RQ4 파rameter-free 어텐션을 통해 효율성을 확보하면서도 번역 품질을 손상시키지 않을 수 있는가?
• RQ5 장거리 의존성과 같은 언어 현상을 모델링할 때, 하드코딩된 어텐션 메커니즘과 학습된 어텐션 메커니즘은 어떻게 비교되는가?

주요 결과

• 모든 인코더와 디코더 자기어텐션을 하드코딩된 가우시안 분포로 대체하면 네 개의 언어 쌍에서 BLEU 점수 저하가 최소한으로 발생하며, 이는 자기어텐션이 이전에 상정된 것보다 덜 중요하다는 것을 시사한다.
• 교차어텐션을 하드코딩하면 BLEU 점수가 5~10점 정도 급격히 떨어지며, 이는 교차어텐션이 번역 품질 유지를 위해 자기어텐션보다 더 중요하다는 것을 입증한다.
• 기본적으로 하드코딩된 트랜스포머에 단 하나의 학습된 교차어텐션 헤드만 추가해도 대부분의 성능 손실을 복구할 수 있으며, 기준 모델 대비 BLEU 점수는 1~3점만 낮아진다.
• 하드코딩된 모델은 어텐션에서 파rameter-free임에도 불구하고 기준 모델 대비 26.4% 높은 메모리 효율성(배치당 토큰 수)과 30.2% 빠른 디코딩 속도를 달성한다.
• 분석 결과, 표준 트랜스포머에서 학습된 어텐션 헤드는 주로 국소 윈도우에 집중하는 것으로 나타나, 국소화된 하드코딩된 가우시안 분포의 설계 선택이 타당하다는 것을 뒷받침한다.
• 이진 커널을 사용한 색인 기반 어텐션은 두 데이터셋에서 BLEU 점수 1점 이내의 저하만을 보이며, 이는 최소한의 성능 손실로도 추가적인 효율성 향상이 가능하다는 것을 시사한다.