[논문 리뷰] Memory-enhanced Decoder for Neural Machine Translation

Mingxuan Wang, Zhengdong Lu외 2명|arXiv (Cornell University)|2016. 06. 07.

Natural Language Processing Techniques참고 문헌 15인용 수 25

한 줄 요약

이 논문은 신경 기계 번역을 위한 메모리 강화 RNN 디코더인 MemDec를 제안한다. MemDec는 고정 크기의 콘텐츠 기반 외부 메모리 행렬로 은닉 상태를 확장한다. 디코딩 중 동적 읽기 및 쓰기를 가능하게 함으로써 번역의 유창성과 정확도를 향상시키며, 동일한 학습 데이터를 사용할 때 Moses 대비 5.3 BLEU 향상과 GroundHog 대비 4.8 BLEU 향상을 달성한다.

ABSTRACT

We propose to enhance the RNN decoder in a neural machine translator (NMT) with external memory, as a natural but powerful extension to the state in the decoding RNN. This memory-enhanced RNN decoder is called extsc{MemDec}. At each time during decoding, extsc{MemDec} will read from this memory and write to this memory once, both with content-based addressing. Unlike the unbounded memory in previous work\cite{RNNsearch} to store the representation of source sentence, the memory in extsc{MemDec} is a matrix with pre-determined size designed to better capture the information important for the decoding process at each time step. Our empirical study on Chinese-English translation shows that it can improve by $4.8$ BLEU upon Groundhog and $5.3$ BLEU upon on Moses, yielding the best performance achieved with the same training set.

연구 동기 및 목표

• 외부 메모리 메커니즘을 RNN 디코더에 통합하여 신경 기계 번역 성능을 향상시키기.
• 동적 메모리 읽기 및 쓰기를 통해 디코딩 중 보다 효과적인 정보 선택 및 통합을 가능하게 하기.
• 유한하고 학습 가능한 메모리 행렬이 순서-순서 작업에서 표준 어텐션 기반 RNN 디코더를 능가함을 입증하기.
• 사전 훈련과 메모리 크기가 번역 성능에 미치는 영향을 조사하기.

제안 방법

• MemDec는 고정 크기의 메모리 행렬을 RNN 디코더 상태의 확장으로 도입하며, 각 열은 메모리 셀로 기능한다.
• 각 디코딩 단계에서 모델은 콘텐츠 기반 주소 지정을 통해 메모리 행렬에서 읽기 및 쓰기 작업을 수행한다.
• 읽기는 디코더 상태와 메모리 벡터 간의 호환성 함수를 통해 계산되며, 이후 가중 평균을 취한다.
• 쓰기 작업은 현재 디코더 상태에 기반해 업데이트를 조절하는 미분 가능한 어텐션 기반 메커니즘을 사용하여 메모리 행렬을 업데이트한다.
• 메모리는 백프로파게이션을 통한 시간 역행(backpropagation through time)을 통해 나머지 NMT 모델과 함께 공동으로 훈련된다.
• 최적화 및 수렴을 향상시키기 위해 메모리 행렬을 초기화하기 위해 사전 훈련을 적용한다.

실험 결과

연구 질문

• RQ1 유한하고 학습 가능한 외부 메모리 행렬이 RNN 기반 신경 기계 번역의 성능을 향상시킬 수 있는가?
• RQ2 외부 메모리 행렬에 대한 콘텐츠 기반 주소 지정이 모델이 관련된 소스 및 타겟 정보에 집중하는 데 미치는 영향은 무엇인가?
• RQ3 MemDec 프레임워크에서 메모리 크기와 사전 훈련이 번역 품질에 미치는 영향은 무엇인가?
• RQ4 Moses와 GroundHog와 같은 강력한 베이스라인 대비 MemDec는 중국어-영어 번역에서 BLEU 점수 측면에서 어떻게 비교되는가?

주요 결과

• 동일한 학습 데이터를 사용할 때 MemDec는 Moses 대비 5.3 BLEU 포인트 향상과 GroundHog 대비 4.8 BLEU 포인트 향상을 달성한다.
• 메모리 크기에 대해 매우 강건한 성능을 보이며, 네 개의 메모리 셀만으로도 표준 RNNsearch 대비 2 이상의 BLEU 향상을 기록한다.
• 사전 훈련은 성능 향상에 상당한 기여를 하며, 기준 모델 대비 평균 BLEU 점수를 1.11 포인트 향상시킨다.
• 사전 훈련 없이도 MemDec는 평균적으로 기준 모델을 1.04 BLEU 포인트 초월한다.
• 사례 연구 결과, 복잡한 문장 구조를 다룰 때 RNNsearch에 비해 더 유창하고 의미적으로 정확한 번역을 생성함을 확인할 수 있다.
• 번역 예시에서 시간적 및 조건절 처리 능력 향상으로 인해 일반화 능력과 의미적 맥락 이해 능력이 뛰어나다는 것이 입증되었다.