[논문 리뷰] Translating Phrases in Neural Machine Translation

Xing Wang, Zhaopeng Tu외 2명|arXiv (Cornell University)|2017. 08. 07.

Natural Language Processing Techniques참고 문헌 43인용 수 11

한 줄 요약

이 논문은 주어진 번역 작업에서 표준 어텐션 기반 NMT보다 1.07 BLEU 점수 향상을 달성하기 위해 어휘 수준 번역을 가능하게 하기 위해 어휘 기반 SMT 시스템에 의해 강화된 어휘 메모리를 통합한 새로운 신경 기계 번역 모델을 제안한다. 제안된 모델는 NMT의 컨텍스트를 기반으로 SMT를 통해 동적으로 목표 어휘를 생성하고, 밸런서를 통해 어휘와 단어 생성의 확률 추정을 계산함으로써 번역 품질을 향상시킨다.

ABSTRACT

Phrases play an important role in natural language understanding and machine translation (Sag et al., 2002; Villavicencio et al., 2005). However, it is difficult to integrate them into current neural machine translation (NMT) which reads and generates sentences word by word. In this work, we propose a method to translate phrases in NMT by integrating a phrase memory storing target phrases from a phrase-based statistical machine translation (SMT) system into the encoder-decoder architecture of NMT. At each decoding step, the phrase memory is first re-written by the SMT model, which dynamically generates relevant target phrases with contextual information provided by the NMT model. Then the proposed model reads the phrase memory to make probability estimations for all phrases in the phrase memory. If phrase generation is carried on, the NMT decoder selects an appropriate phrase from the memory to perform phrase translation and updates its decoding state by consuming the words in the selected phrase. Otherwise, the NMT decoder generates a word from the vocabulary as the general NMT decoder does. Experiment results on the Chinese to English translation show that the proposed model achieves significant improvements over the baseline on various test sets.

연구 동기 및 목표

• 표준 NMT가 다중어절 어휘 표현을 처리하는 데에 한계를 보이는 점을 해결하기 위해.
• 어휘 기반 SMT 시스템으로부터의 상징적 어휘 표현을 통합하여 NMT에서 어휘 수준의 생성을 가능하게 하기 위해.
• 구조적 및 맥락적 정보를 활용하여 NMT의 저빈도 또는 복잡한 어휘 번역 능력을 향상시키기 위해.
• 어휘와 단어 생성 간의 균형을 유지하는 동적 어휘 메모리와 밸런서 메커니즘을 도입하여 디코딩 시 어휘 선택을 향상시키기 위해.
• NMT 인코더에 문법적 청크(구문 조각) 정보를 통합하여 어휘 표현 품질을 향상시키기 위해.

제안 방법

• SMT 모델이 각 디코딩 단계에서 동적으로 업데이트되는 기호 형태의 타겟 측 어휘를 저장하는 어휘 메모리가 도입된다.
• SMT 모델은 NMT 디코더의 맥락적 신호를 기반으로 NMT 디코더의 어텐션 인식 히든 상태를 사용하여 관련 타겟 어휘를 생성한다.
• NMT 디코더는 어휘 메모리에 있는 어휘를 밸런서를 통해 평가하며, 어휘 생성과 단어 생성 간의 확률 추정을 계산한다.
• 어휘 생성은 가장 높은 확률을 얻을 경우 선택되며, 선택된 어휘에 포함된 단어들을 소비함으로써 상태가 갱신된다.
• NMT 인코더는 문법적 청크 정보를 통합하여 소스 측 표현을 풍부하게 하여 더 나은 어휘 탐지 능력을 향상시킨다.
• 모델은 인코더와 디코더 양쪽에 게이트드 리커런트 유닛(GRU)을 사용하며, 어텐션 기반 컨텍스트 벡터 계산을 수행한다.

실험 결과

연구 질문

• RQ1 신경 기계 번역이 단어별 번역 외에 다중어절 어휘를 효과적으로 생성할 수 있는가?
• RQ2 어휘 기반 SMT 지식을 어텐션 기반 NMT 프레임워크에 동적으로 통합할 수 있는가?
• RQ3 NMT 인코더에 문법적 청크 정보를 통합하면 어휘 번역 성능이 향상되는가?
• RQ4 SMT 유도 업데이트를 갖는 동적 어휘 메모리는 희귀어 또는 복잡한 어휘를 다룰 때 표준 NMT를 초월할 수 있는가?
• RQ5 어휘 생성과 단어 생성 간의 균형 조절이 전체 번역 품질에 미치는 영향은 무엇인가?

주요 결과

• 제안된 모델은 중국어-영어 번역 작업에서 여러 NIST 테스트 세트에서 표준 어텐션 기반 NMT보다 1.07 BLEU 점수 향상을 달성한다.
• SMT가 생성한 어휘를 동적 어휘 메모리에 통합함으로써 다중어절 표현과 저빈도 어휘의 처리 능력이 향상된다.
• 인코더에 문법적 청크 정보를 통합함으로써 모델의 어휘 탐지 및 정확한 어휘 번역 능력이 향상된다.
• 밸런서 메커니즘이 어휘 생성과 단어 생성 간의 균형을 성공적으로 유지하여 맥락과 확률에 따라 적절히 전환할 수 있도록 한다.
• 개별 단어 의미에서 유추하기 어려운 복잡한 비조합적 어휘 번역에서 표준 NMT를 능가하는 성능을 보인다.
• 결과는 NMT와 SMT를 동적 어휘 메모리를 통해 통합하는 것이 번역 품질 향상에 실현 가능하고 효과적인 접근임을 입증한다.