[논문 리뷰] Asynchronous Bidirectional Decoding for Neural Machine Translation

Xiangwen Zhang, Jinsong Su외 4명|arXiv (Cornell University)|2018. 01. 16.

Natural Language Processing Techniques참고 문헌 27인용 수 32

한 줄 요약

이 논문은 신경 기계 번역을 위한 이방향 비동기 병행 디코딩(Asynchronous Bidirectional Decoding, ABD)을 제안한다. 이는 오른쪽에서 왼쪽으로 역방향 디코더를 도입하여 타겟 측의 역방향 문맥을 생성하고, 이를 동시에 정방향 디코더가 소스 측 문맥과 함께 공동으로 주시하는 방식이다. 이 방법은 종단 간 프레임워크에서 이중 방향 문맥을 효과적으로 활용하여 중국어-영어 번역 작업에서 +3.14 BLEU, 영어-독일어 번역 작업에서 +1.38 BLEU의 성과를 달성한다.

ABSTRACT

The dominant neural machine translation (NMT) models apply unified attentional encoder-decoder neural networks for translation. Traditionally, the NMT decoders adopt recurrent neural networks (RNNs) to perform translation in a left-toright manner, leaving the target-side contexts generated from right to left unexploited during translation. In this paper, we equip the conventional attentional encoder-decoder NMT framework with a backward decoder, in order to explore bidirectional decoding for NMT. Attending to the hidden state sequence produced by the encoder, our backward decoder first learns to generate the target-side hidden state sequence from right to left. Then, the forward decoder performs translation in the forward direction, while in each translation prediction timestep, it simultaneously applies two attention models to consider the source-side and reverse target-side hidden states, respectively. With this new architecture, our model is able to fully exploit source- and target-side contexts to improve translation quality altogether. Experimental results on NIST Chinese-English and WMT English-German translation tasks demonstrate that our model achieves substantial improvements over the conventional NMT by 3.14 and 1.38 BLEU points, respectively. The source code of this work can be obtained from https://github.com/DeepLearnXMU/ABDNMT.

연구 동기 및 목표

• 기존 NMT 디코더가 왼쪽에서 오른쪽으로만 타겟 측 문맥을 사용하는 데서 비롯하는 한계를 해결하기 위해, 오류 전파와 보완 신호 누락 문제를 완화하고자 한다.
• 오른쪽에서 왼쪽으로 디코딩하여 생성된 역방향 타겟 측 문맥이 정방향 디코딩 과정에 통합될 경우 번역 품질 향상에 기여할 수 있는지 탐색하고자 한다.
• 독립적인 재랭킹이나 별도의 모델에 의존하지 않고, 정방향 및 역방향 디코딩 경로를 동시에 학습하는 종단 간 NMT 프레임워크를 설계하고자 한다.
• 오류가 포함된 정방향 문맥으로 인한 오류 전파 문제를 완화하기 위해, 역방향 디코더로부터 더 풍부하고 보완적인 문맥을 통합하고자 한다.
• 추론 과정에서 정방향 및 역방향 디코더가 동적으로 기여할 수 있는 통합 아키텍처를 개발하여 번역의 정확성과 강건성을 향상시키고자 한다.

제안 방법

• 오른쪽에서 왼쪽으로 타겟 측 은닉 상태를 생성하는 역방향 RNN 디코더를 도입하여, 시퀀스의 끝에서부터 가능한 번역 가설을 인코딩한다.
• 정방향 디코더에서 두 개의 독립적인 어텐션 메커니즘을 사용한다: 하나는 인코더의 이중 방향 은닉 상태를 주시하고, 다른 하나는 역방향 디코더의 은닉 상태를 주시한다.
• 각 타임스텝에서 정방향 디코더가 소스 측 표현과 동시에 역방향 타겟 측 표현을 주시할 수 있도록 하여 비동기 디코딩을 가능하게 한다.
• 정방향 및 역방향 디코더가 공동 최적화되는 종단 간 학습 프레임워크를 유지하며, 역방향 디코더는 사전 학습되거나 공동 학습되어 의미 있는 역방향 문맥을 생성하도록 한다.
• 표준 어텐션 메커니즘(예: 가산 어텐션)을 사용하여 정방향 생성 과정에서 인코더 및 역방향 디코더 출력으로부터 문맥 벡터를 계산한다.
• 추론 과정에서 비트 서치를 적용하며, 소스 표현과 역방향 타겟 표현 양쪽에 어텐션을 적용하여 재랭킹 없이도 풍부한 문맥 기반 디코딩을 가능하게 한다.

실험 결과

연구 질문

• RQ1 오른쪽에서 왼쪽으로 디코딩하는 디코더로부터 생성된 역방향 타겟 측 문맥을 왼쪽에서 오른쪽 NMT 모델에 통합할 경우 번역 품질 향상에 기여할 수 있는가?
• RQ2 소스 측과 역방향 타겟 측 은닉 상태를 동시에 주시하는 것이 더 정확하고 강건한 번역 예측을 이끌어낼 수 있는가?
• RQ3 동시에 정방향 및 역방향 디코더를 사용하는 종단 간 프레임워크가 별도의 디코더나 재랭킹에 의존하는 모델보다 우월한 성능을 낼 수 있는가?
• RQ4 제안된 이중 방향 디코딩 메커니즘은 기존의 왼쪽에서 오른쪽 디코딩 대비 오류 전파에 어떻게 영향을 미치는가?
• RQ5 역방향 디코더가 학습한 역방향 문맥 표현이 얼마나 번역 성능 향상에 기여하는가?

주요 결과

• 제안된 이방향 비동기 병행 디코딩(ABD) 모델은 NIST 중국어-영어 번역 벤치마크에서 표준 NMT 대비 +3.14 BLEU 포인트의 성능 향상을 달성한다.
• WMT 영어-독일어 번역 작업에서, 이 모델은 기준 NMT 시스템 대비 번역 품질을 1.38 BLEU 포인트 향상시킨다.
• 역방향 디코더는 정방향 디코딩을 보완할 수 있는 의미 있는 역방향 타겟 측 표현을 성공적으로 학습하여, 개선된 어텐션 정렬과 자연스러운 번역 품질을 입증한다.
• 역방향 문맥이 디코딩 과정에서 정방향 문맥의 오류 전파에 대한 수정 신호를 제공함으로써, 오류 전파에 대한 민감도가 감소함을 입증한다.
• 이중 어텐션 메커니즘을 통한 소스 측 및 역방향 타겟 측 문맥의 통합은 더 정확하고 문맥적으로 일관된 번역을 이끌어낸다.
• 이 방법은 다양한 언어 쌍에 대해 효과적이며, 일반적으로 RNN 기반 NMT 아키텍처에 적용 가능하므로 평가된 작업을 넘어서도 광범위하게 활용 가능하다.