[논문 리뷰] An Analysis of Attention Mechanisms: The Case of Word Sense Disambiguation in Neural Machine Translation

Gongbo Tang, Rico Sennrich외 1명|arXiv (Cornell University)|2018. 10. 17.

Natural Language Processing Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 인코더-디코더 어텐션 메커니즘의 의미 다의어 해소(WSD) 처리 방식을 조사한다. 예상과는 달리, 어텐션 메커니즘이 맥락 토큰보다 다의어 어휘 자체에 더 높은 가중치를 할당하는 것으로 나타나, WSD를 위한 맥락 정보는 주로 어텐션 분포가 아니라 히든 상태에 코딩되어 있음을 시사한다. 연구는 트랜스포머 모델이 초기 레이어에서 어울림을 학습하고, 후속 레이어에서 정렬되지 않은 맥락을 추출함으로써 특징을 추출함을 드러낸다.

ABSTRACT

Recent work has shown that the encoder-decoder attention mechanisms in neural machine translation (NMT) are different from the word alignment in statistical machine translation. In this paper, we focus on analyzing encoder-decoder attention mechanisms, in the case of word sense disambiguation (WSD) in NMT models. We hypothesize that attention mechanisms pay more attention to context tokens when translating ambiguous words. We explore the attention distribution patterns when translating ambiguous nouns. Counter-intuitively, we find that attention mechanisms are likely to distribute more attention to the ambiguous noun itself rather than context tokens, in comparison to other nouns. We conclude that attention mechanism is not the main mechanism used by NMT models to incorporate contextual information for WSD. The experimental results suggest that NMT models learn to encode contextual information necessary for WSD in the encoder hidden states. For the attention mechanism in Transformer models, we reveal that the first few layers gradually learn to "align" source and target tokens and the last few layers learn to extract features from the related but unaligned context tokens.

연구 동기 및 목표

• NMT 모델의 어텐션 메커니즘이 다의어 어휘를 번역할 때 맥락 토큰에 더 많은 주의를 기울이는지 조사하기.
• 트랜스포머에서의 보편적인 단일 레이어 어텐션과 다중 헤드 자기어텐션의 행동을 WSD 동안 비교하기.
• 대조적 점수를 피하기 위해 실제 테스트 세트를 사용하여 다의어 어휘의 실제 번역 품질 평가하기.
• 어텐션 가중치가 WSD 정확도와 관련이 있는지, 그리고 데이터 희소성이 오류에 어떤 영향을 미치는지 확인하기.
• 히든 상태와 어텐션 메커니즘이 의미 다의어 해소를 위한 맥락 정보를 어떻게 코딩하는지 이해하기.

제안 방법

• 연구는 ContraWSD 테스트 세트에서 WSD 성능을 평가하여, 대조적 쌍이 아닌 다의어 어휘의 번역을 직접 평가한다.
• 두 가지 NMT 아키텍처를 비교한다: 단일 레이어 어텐션을 갖춘 표준 RNN 기반 모델과 다중 헤드 어텐션을 갖춘 트랜스포머 모델.
• 어텐션 분포를 레이어별로 분석하여, 어ulle임에서 정렬되지 않은 맥락 토큰 어텐션으로의 변화 과정을 추적한다.
• 다양한 어텐션 범위에서 다의어 어휘에 대한 어텐션 가중치와 WSD 정확도 간의 상관관계를 분석한다.
• 학습 데이터에서 어휘의 절대 및 상대 빈도를 기반으로 오류 분포를 분석하여 데이터 희소성의 영향 평가한다.
• 특히 트랜스포머에서 레이어 전반에 걸친 어텐션 패턴의 시각화를 포함하여, 어ulle임 학습과 맥락 특징 추출의 학습 진행 과정을 추적한다.

실험 결과

연구 질문

• RQ1 NMT 모델의 어텐션 메커니즘이 다의어 어휘를 번역할 때 비다의어 어휘보다 맥락 토큰에 더 많은 주의를 기울이는가?
• RQ2 보편적인 단일 레이어 어텐션과 트랜스포머 모델의 어텐션 분포는 WSD 동안 어떻게 다름?
• RQ3 다의어 어휘에 대한 높은 어텐션 가중치와 WSD 정확도 간에 상관관계가 있는가?
• RQ4 데이터 희소성과 저빈도 어휘가 NMT에서 잘못된 번역을 초래하는 데 어느 정도 기여하는가?
• RQ5 히든 상태와 어텐션 메커니즘 중 어느 것이 의미 다의어 해소를 위한 맥락 정보를 주로 코딩하는가?

주요 결과

• RNN의 경우 WSD 정확도는 약 80.2%, 트랜스포머의 경우 85.5%이며, 데이터 희소성이 오류의 주요 원인이다.
• 어텐션 메커니즘은 항상 맥락 토큰보다 다의어 어휘 자체에 더 높은 가중치를 할당하여, 맥락이 우선시된다는 가설과 정면으로 배치된다.
• 트랜스포머의 첫 몇 레이어에서는 소스와 타겟 토큰 간의 어ulle임을 학습하고, 후속 레이어에서는 정렬되지 않은 관련 맥락 토큰에 주의를 기울인다.
• 다의어 어휘에 대한 어텐션 가중치가 높을수록 WSD 정확도가 높아지므로, 어텐션 가중치 크기는 다의어 해석의 자신감을 반영하는 것으로 나타났다.
• 저빈도 어휘에 대해 높은 어텐션을 기울임에도 불구하고 모델은 여전히 잘못된 번역을 내놓는다. 이는 데이터 희소성이 성능에 심각한 영향을 미친다는 것을 확인한다.
• 어텐션 메커니즘이 아니라 인코더 히든 상태가 NMT 모델에서 WSD를 위한 맥락 정보를 주로 운반한다.