[논문 리뷰] Chunk-Based Bi-Scale Decoder for Neural Machine Translation

Hao Zhou, Zhaopeng Tu외 4명|arXiv (Cornell University)|2017. 05. 03.

Natural Language Processing Techniques참고 문헌 22인용 수 8

한 줄 요약

이 논문은 중국어-영어 및 독일어-영어 벤치마크에서 표준 어텐션 기반 NMT보다 유의미한 BLEU 점수 향상을 달성하면서 번역의 유창성과 적합성을 향상시키기 위해 구문 모델링을 위한 더 느린 청크 수준 상태와 어휘 생성을 위한 더 빠른 단어 수준 상태로 디코더 상태를 두 가지 시간 스케일로 분할하는 청크 기반 이중 스케일 디코더를 제안한다. 경계 게이트를 통해 청크 업데이트와 청크 수준 어텐션을 제어함으로써, 모델은 번역의 자연스러움을 햖스키고, 특히 구문 수준의 구조를 명시적으로 모델링함으로써 번역의 유창성과 문법적 정확성을 향상시킨다.

ABSTRACT

In typical neural machine translation~(NMT), the decoder generates a sentence word by word, packing all linguistic granularities in the same time-scale of RNN. In this paper, we propose a new type of decoder for NMT, which splits the decode state into two parts and updates them in two different time-scales. Specifically, we first predict a chunk time-scale state for phrasal modeling, on top of which multiple word time-scale states are generated. In this way, the target sentence is translated hierarchically from chunks to words, with information in different granularities being leveraged. Experiments show that our proposed model significantly improves the translation performance over the state-of-the-art NMT model.

연구 동기 및 목표

• 표준 NMT 디코더에서 구문적 요소와 어휘적 요소의 업데이트 속도가 불일치하는 문제를 해결하기 위해.
• 목표 언어 측면에서 구문 수준의 구조를 명시적으로 모델링하여 번역의 유창성과 문법적 정확성을 향상시키기 위해.
• 더 구체적인 어휘 수준 어텐션보다 더 나은 맥락 표현을 제공하는 청크 수준 어텐션을 도입함으로써 맥락 표현을 향상시키기 위해.
• 디코딩 과정에서 빠른(단어 수준) 및 느린(구문 수준) 동역학을 분리함으로써 과잉 번역 오류를 줄이기 위해.
• 소스 측면의 문법적 특징에만 의존하는 것보다 목표 측면의 언어학적 지식(예: 청크)을 통합함으로써 이점이 있는지 탐색하기 위해.

제안 방법

• 모델은 이중 시간 스케일 RNN 아키텍처를 사용한다: 청크 수준 RNN은 덜 자주 업데이트되고, 단어 수준 RNN은 매 단계마다 업데이트된다.
• 경계 게이트 메커니즘은 자동으로 구문 경계를 감지하고 청크 상태의 업데이트를 트리거한다.
• 청크 수준 어텐션은 현재 청크 상태를 기반으로 맥락 벡터를 계산하여 구문 수준 생성을 위한 더 집중된 소스 맥락을 제공한다.
• 단어 수준 상태는 어텐션 없이 현재 청크 상태에 기반하여 생성되며, 각 구문 내에서 계층적인 단어별 생성을 가능하게 한다.
• 모델은 단어 수준 디코딩에 표준 어텐션을 사용하지만, 구문적 및 어휘적 동역학을 분리하기 위한 새로운 이중 스케일 상태 업데이트 메커니즘을 도입한다.
• 학습은 베이즈 서치 디코딩을 사용한 최대 우도 추정을 통해 수행되며, 모델은 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 다른 시간 스케일을 통해 디코더 상태의 구문적 요소와 어휘적 요소를 분리하면 번역 성능이 향상되는가?
• RQ2 목표 측면에 명시적인 구문 수준 모델링을 도입하면 신경 기계 번역에서 더 나은 유창성과 적합성이 달성되는가?
• RQ3 청크 수준 어텐션은 표준 단어 수준 어텐션보다 더 효과적인 맥락 표현을 제공하는가?
• RQ4 경계 게이트 메커니즘이 자연스러운 구문 경계 탐지에 얼마나 기여하는가?
• RQ5 표준 NMT 모델에 비해 이중 스케일 아키텍처는 과잉 번역 오류를 얼마나 줄이는가?

주요 결과

• 제안된 모델은 중국어-영어 WMT'14 번역 작업에서 dl4mt 베이스라인 대비 BLEU 점수를 0.87 포인트 향상시켰다.
• 독일어-영어 WMT'15 작업에서는 BLEU 점수를 0.87 포인트 향상시켜 다양한 언어 조합 간 일관된 성능 향상을 보였다.
• 주관적 평가에서 베이스라인 대비 과잉 번역 오류가 32%에서 26%로 6% 감소했다.
• 모델은 소스 콘텐츠의 커버리지가 향상되어 부족 번역 오류를 50%에서 47%로 줄였다.
• 인간 평가자들은 제안된 모델의 번역 결과를 적합성(3.35 vs. 3.26)과 유창성(3.71 vs. 3.69) 측면에서 모두 높게 평가했다.
• 경계 게이트는 평균 정확도 89%로 구문 경계를 정확히 식별하여 청크 구조 학습의 효과성을 입증했다.