[논문 리뷰] Translating Pro-Drop Languages with Reconstruction Models

Longyue Wang, Zhaopeng Tu외 4명|arXiv (Cornell University)|2018. 01. 10.

Natural Language Processing Techniques인용 수 23

한 줄 요약

이 논문은 은성어미어(프로드롭어) 언어의 신경 기계 번역(NMT) 성능을 햖थ기 위해, 숨겨진 표현에서 생략된 대명사(DPs)를 명시적으로 복원하도록 모델을 훈련시키는 복원 기반 방법을 제안한다. 번역 가능성과 원본 문장의 DP 인식 복원을 함께 최적화함으로써, 모델은 향상된 잠재 표현을 학습하게 되며, 추론 비용을 최소화하면서도 중국어-영어 번역에서 +1.35 BLEU, 일본어-영어 번역에서 +1.29 BLEU 향상 효과를 달성한다.

ABSTRACT

Pronouns are frequently omitted in pro-drop languages, such as Chinese, generally leading to significant challenges with respect to the production of complete translations. To date, very little attention has been paid to the dropped pronoun (DP) problem within neural machine translation (NMT). In this work, we propose a novel reconstruction-based approach to alleviating DP translation problems for NMT models. Firstly, DPs within all source sentences are automatically annotated with parallel information extracted from the bilingual training corpus. Next, the annotated source sentence is reconstructed from hidden representations in the NMT model. With auxiliary training objectives, in terms of reconstruction scores, the parameters associated with the NMT model are guided to produce enhanced hidden representations that are encouraged as much as possible to embed annotated DP information. Experimental results on both Chinese-English and Japanese-English dialogue translation tasks show that the proposed approach significantly and consistently improves translation performance over a strong NMT baseline, which is directly built on the training data annotated with DPs.

연구 동기 및 목표

• 중국어 및 일본어와 같은 프로드롭어 언어에서 생략된 대명사(DPs)를 번역하는 데 지속적으로 발생하는 과제를 해결하기 위해.
• DP가 자주 생략되는 비공식적 대화형 텍스트에서 NMT 성능을 향상시키기 위해.
• 복원을 통한 방법을 통해 DP 정보를 임bedding함으로써 NMT 모델 표현을 향상시키기 위해.
• 복원 기반 훈련이 일반 번역과 DP 전용 번역 품질 향상에 효과적인지를 입증하기 위해.
• 향후 프로드롭어 언어 번역 연구를 위해 대규모 병렬 대화 코퍼스(220만 개 문장 쌍)를 공개하기 위해.

제안 방법

• 이중어 어휘 코퍼스에서의 정렬 정보를 이용해 병렬 훈련 데이터의 원본 측에 DPs를 주석 처리한다.
• 각 훈련 인스턴스를 삼중조로 표현한다: (원본 문장 x, 타겟 문장 y, DP 레이블이 부여된 원본 문장 x̂).
• 표준 NMT 인코더-디코더 모델을 사용해 x에서 y로 번역하도록 훈련시키며, 인코더 및 디코더의 숨겨진 상태를 추출한다.
• 인코더 및/또는 디코더의 숨겨진 상태에서 DP 레이블이 부여된 원본 문장 x̂를 복원하는 재구성기(reconstructor)를 도입한다.
• 번역 가능성과 복원 손실의 가중 조합인 복합 목적함수를 최적화하여, 숨겨진 상태가 DP 정보를 유지하도록 이끌어낸다.
• 훈련 중에 복원을 적용함으로써 표현 학습을 향상시키고, 추론 중에도 복원을 적용하여 번역 품질을 추가로 향상시키며, 속도 증가 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 복원 기반 훈련을 통해 DP 정보를 숨겨진 표현에 통합함으로써, 프로드롭어 언어의 NMT 성능을 향상시킬 수 있는가?
• RQ2 번역 가능성과 DP 복원 손실을 함께 최적화하면 번역 품질과 BLEU 점수에 어떤 영향을 미치는가?
• RQ3 복원을 훈련 중에만 적용하면 디코딩 시간 증가 없이 파라미터 학습을 향상시킬 수 있는가?
• RQ4 제안된 방법이 중국어-영어 및 일본어-영어와 같은 다양한 프로드롭어 언어 쌍에 일반화 가능한가?
• RQ5 복원이 복잡한 지시어 참조에 대해 대명사 번역 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 대규모 중국어-영어 대화 번역 작업에서 추론 속도 증가 없이 +1.35 BLEU 점수 향상을 달성한다.
• 훈련 및 추론 모두에서 복원을 적용하면 추가로 +1.06 BLEU 향상이 이루어지며, 디코딩 속도는 약 18% 감소할 뿐이다.
• 일본어-영어 번역 작업에서 +1.29 BLEU 향상이 달성되어, 이 방법이 다양한 언어 쌍 간에 일반화됨을 입증한다.
• 정량적 분석을 통해 모델이 DP 정보를 통합한 더 나은 잠재 표현을 학습함을 확인하였으며, 이는 더 정확한 대명사 생성으로 이어진다.
• 주격 대명사 번역 오류가 크게 감소하여, 기준 NMT 시스템 대비 잘못 번역되는 경우와 새로 발생하는 오류가 더 적다.
• 공개된 220만 개 문장 쌍의 중국어-영어 대화 코퍼스는 향후 프로드롭어 언어 번역 연구를 위한 유의미한 기준이 된다.