[논문 리뷰] Building a Neural Machine Translation System Using Only Synthetic Parallel Data

Jae-Hong Park, Jongyoon Song외 1명|arXiv (Cornell University)|2017. 04. 02.

Natural Language Processing Techniques참고 문헌 29인용 수 20

한 줄 요약

이 논문은 실수 및 합성 문장이 양쪽 번역 쌍에서 혼합된 새로운 합성 병렬 코퍼스인 PSEUDO mix를 제안한다. 이는 오직 합성 데이터만을 사용하여 신경 기계 번역(NMT) 시스템을 효과적으로 훈련시킬 수 있도록 한다. 실험 결과, PSEUDO mix는 双방향 번역 작업에서 뛰어난 성능과 더불어 균형 잡힌 성능을 달성하며, 특히 실수 병렬 데이터로의 피니어튜닝 이후, 원천 기반 및 대상 기반 합성 데이터를 모두 능가한다.

ABSTRACT

Recent works have shown that synthetic parallel data automatically generated by translation models can be effective for various neural machine translation (NMT) issues. In this study, we build NMT systems using only synthetic parallel data. As an efficient alternative to real parallel data, we also present a new type of synthetic parallel corpus. The proposed pseudo parallel data are distinct from previous works in that ground truth and synthetic examples are mixed on both sides of sentence pairs. Experiments on Czech-German and French-German translations demonstrate the efficacy of the proposed pseudo parallel corpus, which shows not only enhanced results for bidirectional translation tasks but also substantial improvement with the aid of a ground truth real parallel corpus.

연구 동기 및 목표

• 오직 합성 병렬 데이터만을 사용하여 경쟁력 있는 NMT 시스템을 훈련시킬 수 있는지의 타당성을 조사하는 것, 특히 저자원 환경에서의 적용을 중심으로 한다.
• 기존 합성 병렬 코퍼스에서 한쪽 번역 쌍이 완전히 합성된 상태로 인해 발생하는 균형 잡히지 않은 성능과 품질 편향 문제를 해결하는 것.
• 양방향 번역 작업에서 모델의 강건성과 성능을 향상시키는 새로운 합성 코퍼스 형식을 제안하는 것.
• 실수 병렬 데이터로의 피니어튜닝을 통해 합성 데이터의 품질 향상 효과를 평가하는 것.
• 혼합 합성-실수 데이터가 저자원 기계 번역에서 실수 병렬 코퍼스의 신뢰할 수 있는 대안이 될 수 있음을 입증하는 것.

제안 방법

• PSEUDO mix를 제안한다. 이는 번역 쌍의 원천 측과 대상 측 모두에 실수 및 합성 문장 쌍이 혼합된 합성 병렬 코퍼스이다.
• 주어진 번역 방향에 대해 원천 기반 및 대상 기반 합성 병렬 데이터를 결합하여 코퍼스를 구성한다.
• 어텐션 기반 NMT 모델을 사용하며, 인코더-디코더 아키텍처와 어텐션 메커니즘을 적용하여 합성 데이터로 훈련한다.
• 이중 단계 훈련 프로토콜을 적용한다: 먼저 합성 데이터 전용으로 훈련(일명 Pseudo Only), 그 다음 실수 병렬 데이터로 피니어튜닝(Real Fine-tuning)을 수행한다.
• 피봇 기반 역번역을 사용하여 고품질의 합성 데이터를 생성함으로써, 표준 역번역보다 더 신뢰할 수 있는 결과를 도출한다.
• 체스키-독일어 및 프랑스어-독일어 번역 작업에서 표준 테스트 세트를 사용하여 BLEU 점수로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 NMT 모델이 오직 합성 병렬 데이터만으로도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 번역 쌍의 양쪽에 실수 및 합성 문장을 혼합함으로써, 이중 방향 번역에서 모델의 균형과 성능이 향상되는가?
• RQ3 합성 데이터의 품질이 혼합 합성-실수 코퍼스로 훈련된 NMT 모델의 성능에 어떤 영향을 미치는가?
• RQ4 실수 병렬 데이터로의 피니어튜닝이 합성 데이터 전용으로 사전 훈련된 모델의 성능 향상에 어느 정도 기여하는가?
• RQ5 PSEUDO mix가 단방향(원천 전용 또는 대상 전용 합성) 합성 코퍼스보다도 합성 전용 및 피니어튜닝 설정에서 모두 뛰어난 성능을 보일 수 있는가?

주요 결과

• PSEUDO mix는 모든 합성 전용 훈련 설정 중에서 이중 방향 체스키-독일어 번역에서 최고의 BLEU 점수를 기록하였으며, 원천 기반 및 대상 기반 합성 코퍼스를 모두 능가하였다.
• 프랑스어-독일어 번역 작업에서는 PSEUDO mix가 단방향 합성 코퍼스에 비해 프랑스어-독일어 및 독일어-프랑스어 양 방향에서 훨씬 더 균형 잡힌 성능을 보였다.
• 실수 병렬 데이터로의 피니어튜닝 이후, PSEUDO mix로 훈련된 모델이 모든 실험에서 최고의 BLEU 점수를 기록하였으며, 원천 기반, 대상 기반, 혼합 실수-합성 코퍼스로 훈련된 모델들을 모두 능가하였다.
• 원천 기반 및 대상 기반 합성 데이터 간의 품질 격차가 작을 경우, PSEUDO mix는 가장 두드러진 향상을 보였으며, 이는 균형 잡힌 데이터 환경에서의 효과성을 시사한다.
• PSEUDO mix에 적용된 Real Fine-tuning 방식은 실수-합성 코퍼스를 병합하여 처음부터 훈련하는 것보다 우수한 성능을 보였으며, 이는 혼합 합성 데이터로의 사전 훈련이 실수 데이터 피니어튜닝 이전에 매우 유의미한 가치를 지닌다는 것을 입증한다.
• PSEUDO mix가 초기에는 고품질의 대상 기반 합성 코퍼스에 뒤지더라도, 피니어튜닝 이후 가장 큰 향상을 보였으며, 이는 향후 개선 잠재력이 매우 높다는 것을 시사한다.