[논문 리뷰] Adding Interpretable Attention to Neural Translation Models Improves Word Alignment

Thomas Zenkel, Joern Wuebker외 1명|arXiv (Cornell University)|2019. 01. 31.

Natural Language Processing Techniques참고 문헌 17인용 수 80

한 줄 요약

이 논문은 Transformer 기반 NMT 모델 위에 정렬(layer)을 추가하고 주의(attention) 최적화 절차를 도입하여 단어 정렬의 품질을 높이며, 감독된 정렬 데이터 없이도 여러 데이터셋에서 Giza++와 비교 가능한 결과를 달성한다.

ABSTRACT

Multi-layer models with multiple attention heads per layer provide superior translation quality compared to simpler and shallower models, but determining what source context is most relevant to each target word is more challenging as a result. Therefore, deriving high-accuracy word alignments from the activations of a state-of-the-art neural machine translation model is an open challenge. We propose a simple model extension to the Transformer architecture that makes use of its hidden representations and is restricted to attend solely on encoder information to predict the next word. It can be trained on bilingual data without word-alignment information. We further introduce a novel alignment inference procedure which applies stochastic gradient descent to directly optimize the attention activations towards a given target word. The resulting alignments dramatically outperform the naive approach to interpreting Transformer attention activations, and are comparable to Giza++ on two publicly available data sets.

연구 동기 및 목표

• 신경 MT 어텐션 메커니즘에서 파생된 정확한 단어 정렬의 필요성을 제시한다.
• 다음 목표 단어를 예측하기 위해 인코더 표현만을 주의하는 정렬 계층을 제안한다.
• 단어 정렬 데이터 없이 기존 번역 모델을 미세조정하여 비지도 학습으로 정렬을 가능하게 한다.
• 주어진 목표 단어를 정렬하기 위해 추론 시점에 SGD 기반의 어텐션 활성화를 최적화하는 방법을 도입한다.
• 공개 데이터셋에서 FastAlign 및 Giza++와의 정렬 품질을 평가한다.

제안 방법

• Transformer를 확장하여 디코더 위에 인코더-어텐션을 사용하고 스킵 연결 없이 정렬 계층을 추가한다.
• 정렬 계층의 다중 헤드 어텐션에서 키/값으로 인코더 정보를 표현한다.
• 기반 모델을 고정한 채 프리트레인된 번역 모델을 미세조정하여 정렬 계층을 학습시킨다.
• 추론 도중 목표 단어의 가능도를 최대화하도록 SGD를 통해 어텐션 활성화를 최적화한다.
• 정렬 계층의 키/값으로 서로 다른 인코더 표현(단어 임베딩, 인코더 출력, 또는 이들의 조합)을 실험한다.
• 독일–영어, 영어–프랑스어, 루마니아–영어 데이터에서 기초 통계 정렬기(FastAlign, Giza++)와 비교한다.

실험 결과

연구 질문

• RQ1 단어 정렬 데이터 없이도 Transformer 위에 비지도 정렬 계층이 경쟁력 있는 단어 정렬을 생성할 수 있는가?
• RQ2 주어진 목표 단어에 대한 어텐션 활성화를 최적화하는 것이 정렬 품질을 향상시키는가?
• RQ3 키/값으로 사용되는 서로 다른 인코더 표현이 정렬 정확도에 어떻게 영향을 미치는가?
• RQ4 제안된 방법이 여러 언어 쌍과 방향에서 FastAlign 및 Giza++와 어떻게 비교되는가?

주요 결과

방법	DeEn	EnDe	양방향
Avg	66.5%	57.0%	50.9%
Word	36.9%	41.1%	31.4%
Enc	39.2%	35.7%	28.6%
Add	31.5%	34.7%	27.1%
Rand+SGD	65.9%	69.9%	61.3%
Add+SGD	26.6%	30.4%	21.2%
Giza++	21.0%	23.1%	21.4%
FastAlign	28.4%	32.0%	27.0%

• SGD-어텐션 최적화를 갖춘 정렬 계층은 단순 어텐션 평균에 비해 AER에서 상당한 개선을 보인다.
• 인코더 출력과 단어 임베딩의 조합 또는 이들의 조합을 키/값으로 사용할 때 최상의 결과를 제공하며, 일부 설정에서는 FastAlign에 대략 비견된다.
• 두 번역 방향에서의 정렬을 대칭화하면 결과가 더 좋아지며, 두 데이터셋에서 Giza++에 근접한 성능을 달성한다.
• 독일–영어에서 Add+SGD 설정은 한 방향/결합 형태로 AER 26.6% (DeEn) 및 30.4% (EnDe)를 달성하여 Giza++ 성능에 근접하다.
• En-Fr 및 Ro-En 전반에서 정렬 계층과 SGD 최적화로 AER이 꾸준히 개선되며, 특정 방향에서 때로는 FastAlign에 근접하거나 이를 능가한다.
• 이 방법은 비지도적이며, 기존 번역 모델을 미세조정하여 학습할 수 있고 구현이 쉽다.