[논문 리뷰] Improving Neural Machine Translation through Phrase-based Forced Decoding

Jingyi Zhang, Masao Utiyama외 3명|arXiv (Cornell University)|2017. 11. 01.

Natural Language Processing Techniques참고 문헌 26인용 수 9

한 줄 요약

이 논문은 기존의 어휘 기반 SMT 모델을 활용해 NMT 출력에 대한 디코딩 비용을 계산하고, 이를 통해 n-best NMT 가설을 재정렬함으로써 신경망 기계 번역(NMT)의 성능을 향상시키기 위해 어휘 기반 강제 디코딩 방법을 제안한다. 이 방법은 NMT 출력이 표준 어휘 기반 SMT 검색 공간 외부에 있을 경우에도 처리할 수 있도록 맥락에 민감한 페널티를 적용하는 소프트 강제 디코딩 알고리즘을 사용하며, 어휘의 일부가 생략되거나 삽입될 수 있도록 허용함으로써 번역의 적합성은 크게 향상시키고 문장의 유창성은 유지한다. 이는 네 가지 언어 쌍에서 번역의 적합성 향상에 기여한다.

ABSTRACT

Compared to traditional statistical machine translation (SMT), neural machine translation (NMT) often sacrifices adequacy for the sake of fluency. We propose a method to combine the advantages of traditional SMT and NMT by exploiting an existing phrase-based SMT model to compute the phrase-based decoding cost for an NMT output and then using this cost to rerank the n-best NMT outputs. The main challenge in implementing this approach is that NMT outputs may not be in the search space of the standard phrase-based decoding algorithm, because the search space of phrase-based SMT is limited by the phrase-based translation rule table. We propose a soft forced decoding algorithm, which can always successfully find a decoding path for any NMT output. We show that using the forced decoding cost to rerank the NMT outputs can successfully improve translation quality on four different language pairs.

연구 동기 및 목표

• 높은 유창성에도 불구하고 과도 번역, 부족 번역, 또는 관련 없는 번역을 유발하는 NMT 모델의 부적합성 문제를 해결하기 위해.
• NMT의 유창성과 어휘 기반 SMT의 구조적 제약을 융합하여 번역의 적합성을 향상시키기 위해.
• 표준 어휘 기반 SMT 검색 공간 외부에 있는 임의의 NMT 출력도 처리할 수 있는 디코딩 방법을 개발하기 위해.
• 표준 빔 서치 대신 랜덤 샘플링을 사용해 더 다양한 n-best 목록을 생성함으로써 NMT의 재정렬 다양성을 향상시키기 위해.
• 어휘 기반 디코딩 비용이 과도 번역, 부족 번역, 또는 관련 없는 어구를 효과적으로 식별하고 페널티를 적용할 수 있는지 입증하기 위해.

제안 방법

• 이 방법은 기존의 어휘 기반 SMT 모델을 사용해 각 NMT 생성 번역에 대해 어휘 기반 디코딩 비용을 계산하고, 이를 바탕으로 n-best NMT 출력을 재정렬한다.
• 표준 어휘 기반 검색 공간 외부의 NMT 출력을 처리하기 위해 소프트 강제 디코딩 알고리즘을 제안하며, 맥락에 민감한 페널티를 적용해 소스 어절 삭제와 타겟 어절 삽입을 허용한다.
• 내용어에 대한 페널티는 높게, 기능어에 대한 페널티는 낮게 설정하여 번역 과정에서 어휘가 생략되거나 삽입될 가능성을 반영한다.
• 재정렬을 위한 n-best 목록은 NMT 모델에서 랜덤 샘플링을 통해 생성되어 빔 서치에서 관찰되는 반복성을 피함으로써 다양성을 증가시킨다.
• 디코딩 비용은 표준 어휘 기반 번역 규칙을 사용해 계산되며, 점수는 어순이 맞춰진 훈련 데이터에서 추출한 어휘표에서 유도된다.
• 최종 번역은 어휘 기반 디코딩 비용이 가장 낮은 번역을 선택함으로써 결정되며, 이는 잘못된 번역이나 누락된 번역에 대해 강력한 페널티를 적용한다.

실험 결과

연구 질문

• RQ1 어휘 기반 SMT 디코딩 비용이 과도 번역, 부족 번역, 또는 관련 없는 어구와 같은 부적합한 NMT 번역을 효과적으로 식별하고 페널티를 적용할 수 있는가?
• RQ2 표준 어휘 기반 검색 공간 외부에 있는 임의의 NMT 출력을 처리할 수 있도록 어휘 기반 디코딩 알고리즘을 어떻게 적응시킬 수 있는가?
• RQ3 내용어 및 기능어를 고려한 페널티를 적용한 소프트 강제 디코딩 방법이 유창성 저하 없이 번역의 적합성을 향상시킬 수 있는가?
• RQ4 어휘 기반 디코딩 비용을 사용해 NMT 출력을 재정렬하면 다양한 언어 쌍에서 일관된 성능 향상이 이루어지는가?
• RQ5 제안된 방법은 어떤 테스트 예제도에서 번역 품질을 악화시키지 않는다는 점에서 강건한가?

주요 결과

• 제안된 방법은 영어-중국어, 영어-일본어, 영어-독일어, 영어-프랑스어 등 네 가지 언어 쌍에서 번역 품질 향상에 큰 성과를 거두었다.
• 인간 평가 결과, 강제 디코딩 비용이 100개의 테스트 문장 중 26개에서 관련 없는 번역, 과도 번역, 부족 번역을 효과적으로 줄였으며, 나머지 73개 문장에서는 품질 저하 없이 안정성을 입증했다.
• 기본 NMT 시스템에 이미 이산 어휘 특징이 포함되어 있음에도 불구하고 성능 향상이 이루어져 상호 보완적인 성능 향상임을 입증했다.
• NMT 점수가 PBMT 출력을 재정렬할 때, NMT가 이미 PBMT보다 현저히 우수한 경우, NMT 점수로 재정렬한 결과는 기본 NMT 시스템을 뛰어나지 못했으며, 이는 제안된 NMT 재정렬 접근법의 우월성을 시사한다.
• 소프트 강제 디코딩 알고리즘은 어휘 기반 규칙표에 직접 표현되지 않는 NMT 출력에 대해서도 맥락에 민감한 페널티를 적용한 삭제 및 삽입을 허용함으로써 모든 NMT 출력에 대해 디코딩 경로를 성공적으로 계산했다.
• 랜덤 샘플링을 통해 n-best 목록을 생성한 결과, 빔 서치보다 더 높은 다양성을 확보했으며, 이는 효과적인 재정렬에 매우 중요하다.