[논문 리뷰] A GRU-Gated Attention Model for Neural Machine Translation

Biao Zhang, Deyi Xiong외 1명|arXiv (Cornell University)|2017. 04. 27.

Natural Language Processing Techniques참고 문헌 17인용 수 27

한 줄 요약

이 논문은 신경 기계 번역을 위한 GRU-게이트드 어텐션 메커니즘(GAtt)을 제안하며, 디코더 상태에 민감한 소스 표현을 통해 컨텍스트 벡터의 구분 능력을 향상시킨다. 원래의 소스 앤코테이션과 이전 디코더 상태를 결합하기 위해 GRU를 사용함으로써 GAtt는 더 다양한 그리고 구분 능력 있는 컨텍스트 벡터를 생성하여, 순수한 어텐션 모델에 비해 중국어-영어 벤치마크에서 번역 품질을 향상시키고 과도 번역을 크게 감소시킨다.

ABSTRACT

Neural machine translation (NMT) heavily relies on an attention network to produce a context vector for each target word prediction. In practice, we find that context vectors for different target words are quite similar to one another and therefore are insufficient in discriminatively predicting target words. The reason for this might be that context vectors produced by the vanilla attention network are just a weighted sum of source representations that are invariant to decoder states. In this paper, we propose a novel GRU-gated attention model (GAtt) for NMT which enhances the degree of discrimination of context vectors by enabling source representations to be sensitive to the partial translation generated by the decoder. GAtt uses a gated recurrent unit (GRU) to combine two types of information: treating a source annotation vector originally produced by the bidirectional encoder as the history state while the corresponding previous decoder state as the input to the GRU. The GRU-combined information forms a new source annotation vector. In this way, we can obtain translation-sensitive source representations which are then feed into the attention network to generate discriminative context vectors. We further propose a variant that regards a source annotation vector as the current input while the previous decoder state as the history. Experiments on NIST Chinese-English translation tasks show that both GAtt-based models achieve significant improvements over the vanilla attentionbased NMT. Further analyses on attention weights and context vectors demonstrate the effectiveness of GAtt in improving the discrimination power of representations and handling the challenging issue of over-translation.

연구 동기 및 목표

• 컨텍스트 벡터의 분산이 낮아서 발생하는 신경 기계 번역에서의 과도 번역 문제를 해결하기 위해.
• 디코더의 부분 번역에 민감하게 반응하도록 컨텍스트 벡터의 구분 능력을 향상시켜 어텐션 기반 NMT에서의 성능을 향상시키기 위해.
• 순환 게이팅을 사용해 소스 표현을 정교화함으로써 생성된 번역의 중복을 줄이기 위해.
• 디코더 상태에 따라 동적으로 소스 표현을 조정하는 새로운 어텐션 메커니즘을 제안하여 정렬 정확도를 향상시키기 위해.

제안 방법

• 에코더와 어텐션 메커니즘 사이에 GRU-게이트드 레이어를 도입하며, 원래의 소스 앤코테이션을 은닉 상태로 사용하고 이전 디코더 상태를 입력으로 사용한다.
• GRU는 소스 표현과 디코더 상태를 조합하여 어텐션 메커니즘에 사용되는 번역에 민감한 소스 앤코테이션을 생성한다.
• 디코더 상태를 은닉 상태로, 소스 앤코테이션을 입력으로 사용하는 변형(GAtt-Inv)을 제안하여 다른 게이팅 다이내믹스를 탐색한다.
• 게이팅된 순환 단위(GRU)를 사용해 리셋 및 업데이트 게이트를 통해 정보 흐름을 제어함으로써 소스 표현의 동적 모odulation을 가능하게 한다.
• 정교화된 소스 표현에 대해 표준 어텐션을 통해 컨텍스트 벡터를 생성함으로써 구분 능력을 향상시킨다.
• 원래의 의미 정보를 유지하면서도 적응형 정교화를 允허하는 잔차 연결 유사 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 컨텍스트 벡터의 구분 능력을 향상시키는 것이 신경 기계 번역에서의 과도 번역을 줄일 수 있는가?
• RQ2 소스 표현을 디코더 상태에 의존적으로 만들면 어텐션 정렬과 번역 품질에 어떤 영향을 미치는가?
• RQ3 GRU-게이트드 메커니즘은 순수한 어텐션에 비해 더 다양한 그리고 정보량이 풍부한 컨텍스트 벡터를 생성하는가?
• RQ4 제안된 GAtt 모델은 중국어-영어와 같은 저자원 또는 복잡한 번역 작업에서 표준 어텐션 기반 NMT 시스템을 능가할 수 있는가?
• RQ5 게이팅 순서의 선택(소스 또는 디코더를 은닉 상태로 사용할 것인가)이 모델 성능과 일반화에 어떤 영향을 미치는가?

주요 결과

• GAtt 기반 모델은 NIST 중국어-영어 번역 벤치마크에서 순수한 어텐션(RNNSearch)에 비해 유의미한 향상을 보였으며, BLEU 점수에서 1.85점 향상되었다.
• 컨텍스트 벡터의 차원별 평균 분산은 RNNSearch의 0.0057에서 GAtt의 0.0365로 증가하여 더 높은 구분 능력을 나타낸다.
• 1-그램의 N-Gram 반복률(N-GRR)은 RNNSearch의 19.12에서 GAtt-Inv의 16.79로 감소하여 과도 번역이 줄어든 것으로 확인되었다.
• GAtt의 어텐션 가중치는 관련된 소스 단어와 더 정확하고 잘 정렬되어 있으며, 시각화 및 정성적 분석을 통해 확인되었다.
• GAtt-Inv 변형은 모든 n-그램 반복 지표에서 표준 GAtt를 능가하여 중복을 다루는 데서 더 나은 일반화 능력을 보였다.
• 제거 실험을 통해 컨텍스트 벡터의 분산과 어텐션의 날카움이 번역 품질과 직접적으로 관련되어 있음을 검증하였다.