[논문 리뷰] What does Attention in Neural Machine Translation Pay Attention to?

Hamidreza Ghader, Christof Monz|UvA-DARE (University of Amsterdam)|2017. 10. 09.

Natural Language Processing Techniques참고 문헌 20인용 수 11

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서의 어텐션 메커니즘을 전통적인 단어 정렬 방식과 비교하여 분석함으로써, 어텐션이 번역 등가물 외에도 더 많은 정보를 포착하고 있음을 밝혀냄. 특히 동사에 대해서는 어휘 정렬에서 벗어나 주어, 목적어, 돕는 동사 등의 문법적 맥락을 주시함으로써 정렬에서 벗어나는 경향을 보이며, 이는 어텐션이 정렬을 넘어서 더 풍부한 언어학적 구조를 학습하고 있음을 시사함. 이는 어텐션을 전통적 정렬 방식에 맞추도록 강제할 경우 일부 품사에 대해서는 성능 저하를 초래할 수 있음을 설명함.

ABSTRACT

Attention in neural machine translation provides the possibility to encode relevant parts of the source sentence at each translation step. As a result, attention is considered to be an alignment model as well. However, there is no work that specifically studies attention and provides analysis of what is being learned by attention models. Thus, the question still remains that how attention is similar or different from the traditional alignment. In this paper, we provide detailed analysis of attention and compare it to traditional alignment. We answer the question of whether attention is only capable of modelling translational equivalent or it captures more information. We show that attention is different from alignment in some cases and is capturing useful information other than alignments.

연구 동기 및 목표

• NMT 모델의 어텐션 메커니즘이 번역 등가물 외에 추가적인 언어학적 정보를 포착하는지 여부를 조사하기 위해.
• 다양한 품사(POS 태그) 간에 어텐션 행동과 전통적 단어 정렬 간의 차이를 비교하기 위해.
• 모든 품사 유형에서 어텐션에 명시적 정렬 레이블을 사용해 훈련하면 번역 품질이 향상되는지 여부를 확인하기 위해.
• 생성 중인 대상 단어의 문법적 역할에 따라 어텐션 분포가 어떻게 달라지는지 분석하기 위해.
• 이전 연구에서 정렬 레이블을 사용한 유도 어텐션의 성능 결과가 혼합된 이유를 이해하기 위해.

제안 방법

• 저자들은 RWTH IWSLT 2015 영어-독어 번역 데이터셋에서 훈련된 NMT 모델의 어텐션 분포를 분석함.
• 각 어텐션 분포에 대해 ParZu 의존성 파서를 사용하여 원천 측면의 의존성 역할(예: 주어, 목적어, 돕는 동사 등)을 추출함.
• 각 대상 단어에 대해 GIZA++/fast_align 기반 정렬 단어와 비정렬 단어에 할당된 어텐션 확률 질량을 계산함.
• 어텐션 엔트로피와 단어 예측 손실 간의 상관관계를 측정하여 어텐션 집중도와 모델의 자신감을 평가함.
• POS 태그와 의존성 역할에 따라 어텐션 기여도를 분류하여 어텐션 분포의 패턴을 식별함.
• 다양한 어텐션 메커니즘(예: 덧셈형, 내적곱형) 간의 어텐션 행동을 비교하고 전통적 정렬에 대한 준수 여부를 평가함.

실험 결과

연구 질문

• RQ1 NMT의 어텐션 메커니즘이 전통적 단어 정렬과 어느 정도 일치하는가? 이는 품사 태그에 따라 어떻게 달라지는가?
• RQ2 어텐션은 번역 등가물 외에 문법적 및 맥락 정보도 인코딩하는가?
• RQ3 어떤 연구에서는 정렬 레이블을 사용해 어텐션을 유도하면 번역 품질이 향상된다고 보고했지만, 다른 연구에서는 그렇지 않은 이유는 무엇인가?
• RQ4 내용어(예: 명사)와 기능어(예: 동사, 대명사) 간의 어텐션 분포에는 어떤 차이가 있는가?
• RQ5 의존 관계(예: 주어, 목적어, 돕는 동사 등)는 단어 정렬을 넘어서 어텐션 형성에 어떤 역할을 하는가?

주요 결과

• 명사의 경우 어텐션의 68%가 정렬 지점에 집중되어 있어, 정렬 가이드라인이 내용어에 유용함을 시사함.
• 동사의 경우 정렬 지점에 할당된 어텐션의 비율은 49%에 불과하며, 나머지 51%는 주어, 목적어, 돕는 동사 등의 문법적 맥락을 향해 향함. 이는 어텐션이 번역 등가물 외에도 더 많은 정보를 포착하고 있음을 보여줌.
• 대명사와 조사어는 어텐션 분포가 가장 넓게 퍼져 있음(비정렬 지점에 각각 36%와 64%의 어텐션 질량 할당), 이는 어류 오류가 아니라 관련 맥락을 포괄적으로 분석하고 있음을 의미함.
• 대명사와 조사어의 경우 어텐션 엔트로피와 단어 예측 손실 간 상관관계가 낮아, 분산된 어텐션은 노이즈가 아니라 예측 자신감을 높임을 시사함.
• 정렬 레이블을 사용해 어텐션을 훈련하면 동사의 성능이 저하됨. 이는 모델이 비정렬 어텐션에서 포착한 유용한 맥락 정보를 무시하도록 강제하기 때문임.
• 어텐션 패턴은 대상 단어의 품사 태그에 매우 의존적이며, 특히 동사는 가장 복잡하고 맥락에 민감한 어텐션 행동을 보임.