[논문 리뷰] Towards Neural Machine Translation with Partially Aligned Corpora

Yining Wang, Yang Zhao외 3명|arXiv (Cornell University)|2017. 11. 03.

Natural Language Processing Techniques참고 문헌 30인용 수 6

한 줄 요약

이 논문은 유사한 문장 쌍이 전혀 없고, 유사한 문장 쌍 대신 단일어 코퍼스와 어휘어구 쌍만 이용 가능한 저자원 환경에서의 신경 기계 번역(NMT) 방법을 제안한다. 부분적으로 정렬된 문장 쌍(어휘어구 쌍과 단일어 자료에서 유도된)을 활용하기 위해 双중 생성 전략과 수정된 목적 함수를 도입함으로써, 최소한의 병렬 비텍스트가 존재하는 상황에서도 번역 품질을 크게 향상시킬 수 있다.

ABSTRACT

While neural machine translation (NMT) has become the new paradigm, the parameter optimization requires large-scale parallel data which is scarce in many domains and language pairs. In this paper, we address a new translation scenario in which there only exists monolingual corpora and phrase pairs. We propose a new method towards translation with partially aligned sentence pairs which are derived from the phrase pairs and monolingual corpora. To make full use of the partially aligned corpora, we adapt the conventional NMT training method in two aspects. On one hand, different generation strategies are designed for aligned and unaligned target words. On the other hand, a different objective function is designed to model the partially aligned parts. The experiments demonstrate that our method can achieve a relatively good result in such a translation scenario, and tiny bitexts can boost translation quality to a large extent.

연구 동기 및 목표

• 완전한 병렬 문장 쌍이 없고, 단지 단일어 코퍼스와 어휘어구 쌍만 존재하는 새로운 NMT 시나리오를 다루기.
• 기존 NMT 방법들이 효과적인 훈련을 위해 대규모 병렬 비텍스트를 필요로 하는 한계를 극복하기.
• 비병렬 문장에 포함된 정렬된 번역 조각을 포함한 부분적으로 정렬된 문장 쌍을 효과적으로 활용하는 훈련 프레임워크를 설계하기.
• 최소한의 추가 병렬 비텍스트만으로도 번역 품질을 크게 향상시키기.
• 모든 주의 기반 NMT 아키텍처와 호환되는 방법을 개발하여 광범위한 적용 가능성을 확보하기.

제안 방법

• 정보 검색 기반 정렬 방법을 사용하여 단일어 코퍼스와 어휘어구 쌍에서 부분적으로 정렬된 문장 쌍을 유도하기.
• 이중 생성 전략을 구현: 정렬된 대상 단어는 소스 문맥과 이전 목표 단어를 고려한 문맥 인식 생성, 비정렬된 목표 단어는 이전 목표 단어만을 사용한 자동회귀 생성.
• 정렬된 세그먼트의 가능도를 강조하면서도 전체 목표 문장의 로그가능도를 최대화하는 수정된 목적 함수 설계.
• 부분 정렬을 처리하기 위해 디코더의 주의 메커니즘과 생성 과정을 수정함으로써 표준 NMT 훈련 절차를 변형하기.
• 완전한 병렬 문장 쌍이 필요 없이 부분적으로 정렬된 자료를 훈련 과정에 통합하기.
• 정렬된 부분과 비정렬된 부분에 대한 생성 로직을 분리함으로써 표준 주의 기반 NMT 프레임워크와의 호환성 확보하기.

실험 결과

연구 질문

• RQ1 완전한 문장 수준의 병렬 자료가 없고, 단지 단일어 코퍼스와 어휘어구 쌍만 존재하는 상황에서 신경 기계 번역이 효과적으로 훈련될 수 있는가?
• RQ2 완전히 병렬적이지는 않지만 정렬된 조각을 포함하는 부분적으로 정렬된 문장 쌍은 어떻게 활용하여 NMT 성능을 향상시킬 수 있는가?
• RQ3 부분 정렬을 처리하고 번역 품질 저하를 방지하기 위해 NMT 훈련 절차에 어떤 수정이 필요한가?
• RQ4 이 저자원 환경에서 최소한의 추가 병렬 비텍스트가 번역 품질 향상에 얼마나 기여하는가?
• RQ5 제안된 방법은 다양한 언어 쌍과 NMT 아키텍처에 일반화 가능한가?

주요 결과

• 제안된 방법은 단일어 자료와 어휘어구 쌍만 존재하는 저자원 환경에서도 상대적으로 양호한 번역 성능을 달성한다.
• 최소한의 추가 병렬 비텍스트가 존재하는 것만으로도 번역 품질 향상이 뚜렷하게 이루어지며, 이는 최소한의 병렬 자료에 매우 민감한 성능을 보임을 시사한다.
• 이중 생성 전략과 수정된 목적 함수는 부분적으로 정렬된 세그먼트를 효과적으로 활용하여, 낮은 빈도의 번역 조각에 대한 모델 학습을 향상시킨다.
• 이 방법은 다양한 주의 기반 NMT 프레임워크에서 효과적이며, 광범위한 호환성과 실용적 유용성을 나타낸다.
• 중국어-영어 번역에 대한 실증 결과는 동일한 저자원 조건에서 기준 방법보다 모델 성능이 뛰어나다는 것을 보여준다.
• 높은 품질의 어휘어구 쌍이 확보되어 있는 경우, 이 방법은 저자원 및 제로샷 번역 시나리오에 대한 실현 가능성을 입증한다.