[논문 리뷰] Neural Machine Translation with Reconstruction

Zhaopeng Tu, Yang Liu외 3명|arXiv (Cornell University)|2016. 11. 07.

Natural Language Processing Techniques참고 문헌 22인용 수 58

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 새로운 인코더-디코더-재구성기 프레임워크를 제안하며, 디코더의 은닉 상태에서 원본 문장을 재구성하는 재구성기를 훈련시켜 번역의 적절성을 향상시킵니다. 훈련 및 추론 중에 우도와 재구성 점수를 결합함으로써 모델은 번역 품질을 크게 향상시켜 강력한 어텐션 기반 NMT보다 2.3 BLEU 향상되고 SMT 시스템보다 4.5 BLEU 향상됩니다.

ABSTRACT

Although end-to-end Neural Machine Translation (NMT) has achieved remarkable progress in the past two years, it suffers from a major drawback: translations generated by NMT systems often lack of adequacy. It has been widely observed that NMT tends to repeatedly translate some source words while mistakenly ignoring other words. To alleviate this problem, we propose a novel encoder-decoder-reconstructor framework for NMT. The reconstructor, incorporated into the NMT model, manages to reconstruct the input source sentence from the hidden layer of the output target sentence, to ensure that the information in the source side is transformed to the target side as much as possible. Experiments show that the proposed framework significantly improves the adequacy of NMT output and achieves superior translation result over state-of-the-art NMT and statistical MT systems.

연구 동기 및 목표

• 엔드 투 엔드 NMT에서 모델이 특정 원본 단어를 무시하거나 과도하게 번역하는 부적절성 문제를 해결하기 위해.
• 우도 기반 디코딩의 비최적성 문제를 해결하기 위해, 이는 더 짧은 번역을 선호하고 더 큰 빔 크기에서는 성능 향상이 이루어지지 않는다는 점이다.
• 재구성을 보조 목표로 삼아 훈련과 추론을 통합하는 프레임워크를 제안하기 위해.
• 장문의 문장에서 가장 두드러지는 적절성 문제를 해결하기 위해 번역 성능을 향상시키기 위해.
• 유창성과 적절성을 동시에 향상시키기 위한 공동 최적화를 통해 재구성의 효과를 검증하기 위해.

제안 방법

• 모델은 표준 NMT에 재구성기를 추가하여 디코더의 은닉 상태를 입력으로 받아 원본 원본 문장을 재구성합니다.
• 재구성 점수 R(x|s)는 타겟 측 은닉 상태가 원본 정보를 얼마나 잘 유지하는지 측정하며, 보조 목표로 기능합니다.
• 우도 P(y|x)와 재구성 점수 R(x|s)의 선형 보간이 훈련 중에 사용되는 통합 목표 함수를 형성합니다.
• 추론 중에는 통합 점수가 빔 서치를 안내하여 더 큰 디코딩 공간에서 번역 후보를 더 잘 재순서 정렬할 수 있도록 합니다.
• 재구성기는 백프로파게이션를 통해 인코더-디코더와 함께 엔드 투 엔드로 훈련되어 은닉 상태가 원본 정보를 완전히 캡처하도록 보장합니다.
• 이 프레임워크는 어텐션 메커니즘과 호환되며, 커버리지 및 컨텍스트 게이트와 같은 기존 기법과도 조합할 수 있습니다.

실험 결과

연구 질문

• RQ1 디코더 은닉 상태에서 원본을 재구성하는 재구성기가 NMT에서 번역의 적절성을 향상시킬 수 있는가?
• RQ2 우도와 재구성 점수의 조합은 우도 기반 훈련에 비해 훈련 및 추론 성능을 더 잘 향상시키는가?
• RQ3 표준 NMT가 향상되지 않는 더 큰 빔 서치 크기에서 본 방법은 어떻게 성능을 보이는가?
• RQ4 재구성기 기반 접근법은 표준 벤치마크에서 최신 SMT 및 NMT 시스템을 능가할 수 있는가?
• RQ5 정보 커버리지가 가장 중요한 장문의 문장에서 모델은 특히 높은 성능 향상을 보이는가?

주요 결과

• 제안된 모델은 WMT 2014 영어-독어 번역 작업에서 강력한 어텐션 기반 NMT 시스템(RNNSearch)보다 2.3 BLEU 포인트 향상되었습니다.
• 최신 SMT 시스템보다 4.5 BLEU 포인트 향상되어 강력한 경쟁 우위를 입증했습니다.
• 표준 NMT와 달리 빔 크기가 증가할수록 번역 성능이 지속적으로 향상되었습니다. 이는 더 큰 디코딩 공간에서의 성능 저하가 발생하지 않았음을 의미합니다.
• 성능 향상은 특히 장문의 문장에서 가장 두드러졌으며, 이는 재구성기가 부족번역과 과잉번역을 효과적으로 완화함을 확인합니다.
• 커버리지 및 컨텍스트 게이트 메커니즘과 조합했을 때 모델은 34.09 BLEU 점수를 기록하여 모든 기준 설정 구성보다 뛰어난 성능을 보였습니다.
• 재구성 점수는 번역의 적절성을 효과적으로 측정하며, 빔 서치에서의 재순서 정렬을 향상시켜 보조 목표로서의 의미 있는 역할을 검증합니다.