[논문 리뷰] Incorporating Bilingual Dictionaries for Low Resource Semi-Supervised Neural Machine Translation

Sreyashi Nag, Mihir Kale외 2명|arXiv (Cornell University)|2020. 04. 05.

Natural Language Processing Techniques참고 문헌 12인용 수 8

한 줄 요약

이 논문은 저자원 준지도 학습 신경 기계 번역에서 고품질 双어사전을 활용하여 타겟 단일어 문장에서 합성된 원천어 문장을 생성함으로써 저자원 준지도 학습 신경 기계 번역을 위한 단어-단위-단어(Word-on-Word, WoW) 데이터 증강 기법을 제안한다. 이 방법은 어휘를 확장하고 다국어 간 상관관계를 유지함으로써 번역 성능을 크게 향상시키며, 특히 저자원 및 도메인 외부 설정에서 백트랜스레이션 및 복사 기반 방법보다 뛰어난 성능을 보이며, de-en에서 최대 13.31 BLEU, es-en에서 최대 13.79 BLEU를 기록한다.

ABSTRACT

We explore ways of incorporating bilingual dictionaries to enable semi-supervised neural machine translation. Conventional back-translation methods have shown success in leveraging target side monolingual data. However, since the quality of back-translation models is tied to the size of the available parallel corpora, this could adversely impact the synthetically generated sentences in a low resource setting. We propose a simple data augmentation technique to address both this shortcoming. We incorporate widely available bilingual dictionaries that yield word-by-word translations to generate synthetic sentences. This automatically expands the vocabulary of the model while maintaining high quality content. Our method shows an appreciable improvement in performance over strong baselines.

연구 동기 및 목표

• 백트랜스레이션 및 복사 기반 방법의 한계를 해결하기 위해, 특히 제한된 병렬 데이터와 어휘 외 단어(OOV)로 인한 낮은 성능 문제를 해결하고자 한다.
• 광범위하게 이용 가능한 이중어사전을 통합하여 저자원 설정에서 모델의 강건성과 어휘 커버리지 향상을 도모하고자 한다.
• 어휘 외부 도메인에서의 단일어 데이터를 활용하여 어휘 외부 도메인의 영향을 최소화하고, 어휘 외부 도메인의 단일어 데이터를 기반으로 한 번역을 통해 교차 언어적 구조를 유지함으로써 효과적인 도메인 적응을 가능하게 하고자 한다.
• 병렬 데이터가 부족한 상황에서 어휘 기반 증강이 백트랜스레이션보다 더 효과적임을 입증하고자 한다.
• WoW와 COPY, 백트랜스레이션과 같은 다른 증강 기법 간의 상호보완적 효과를 탐색하고자 한다.

제안 방법

• WoW 방법은 타겟 쪽 단일어 문장을 원천 언어로 단어별로 번역하기 위해 이중어사전을 적용하여 합성된 병렬 학습 예제를 생성한다.
• 합성된 원천어 문장을 실제 병렬 데이터와 결합하여 신경 기계 번역 모델을 훈련함으로써 어휘 커버리지와 교차 언어 정렬을 향상시킨다.
• 정확한 단어 수준 번역을 보장하기 위해 사전에 존재하는 고품질 이중어사전(예: Facebook의 MUSE)을 사용한다.
• 표준 NMT 아키텍처와 호환되며, 어텐션 기반 인코더-디코더 구조를 사용하고, 비드 서치 디코딩과 Adam 최적화를 적용한다.
• 다양한 설정에서 평가를 수행한다: 도메인 내, 도메인 외, 그리고 COPY 및 백트랜스레이션과 같은 다른 증강 전략과의 조합.
• 단일어 데이터의 비율을 다양하게 설정(1:1, 1:2, 1:4)하여 데이터 양 증가에 따른 확장성과 성능 향상을 평가한다.

실험 결과

연구 질문

• RQ1 이중어사전을 활용한 단어-단위 번역이 기존의 백트랜스레이션 대비 저자원 신경 기계 번역 성능 향상에 기여하는가?
• RQ2 WoW가 어휘 외 단어(OOV) 문제를 해결하기 위해 원천어 및 타겟어 어휘를 모두 확장함으로써 저자원 설정에서 효과적으로 작용하는가?
• RQ3 특히 도메인 적응 시나리오에서 어휘 외부 도메인의 단일어 데이터를 사용할 경우 WoW의 성능는 어떻게 되는가?
• RQ4 COPY나 백트랜스레이션과 같은 다른 데이터 증강 기법과 WoW를 조합하여 성능 향상을 더욱 높일 수 있는가?
• RQ5 병렬 데이터가 부족한 저자원 설정에서 WoW로 생성된 합성 데이터의 품질이 낮은 품질의 백트랜스레이션 모델보다 뛰어나다고 할 수 있는가?

주요 결과

• 10,000개의 병렬 문장에 10,000개의 이중어사전에서 유래한 합성 문장을 증강한 WoW 방법은 de-en에서 12.03 BLEU, es-en에서 12.34 BLEU를 기록하며, 백트랜스레이션(+10,000 BT: 10.86 및 11.47 BLEU)과 COPY(+10,000 COPY: 11.24 및 11.49 BLEU)를 모두 앞서는 성능을 보였다.
• 단일어 데이터를 10,000개에서 40,000개로 늘일 경우, de-en에서 3.8 BLEU 포인트, es-en에서 4.3 BLEU 포인트의 성능 향상을 기록하였으며, 이는 10,000개의 고품질 병렬 문장을 추가한 것보다 더 큰 성능 향상이다(13.01 및 13.46 BLEU).
• 뉴스 도메인의 어휘 외부 단일어 데이터를 사용한 증강은 도메인 내 병렬 데이터와 유사한 성능을 기록하였다: 40,000개의 어휘 외부 WoW는 de-en에서 4.85 BLEU, es-en에서 7.51 BLEU를 기록하였으며, 이는 10,000개의 도메인 내 병렬 데이터(9.46 BLEU)와 동등한 성능이다.
• 도메인 적응 상황에서, 타겟 도메인 단일어 데이터(예: 뉴스)로 훈련한 WoW는 원천 도메인 데이터(예: TED 강연)로만 훈련한 모델보다 뚜렷이 뛰어난 성능을 보이며 강력한 도메인 일반화 능력을 입증하였다.
• WoW와 COPY를 조합하면 20,000개의 WoW만 사용한 경우보다 더 좋은 결과를 얻는다: es-en에서 13.03 BLEU 대비 12.96 BLEU를 기록하며, 두 방법 간 상호보완적 이점이 있음을 시사한다.
• WoW와 백트랜스레이션을 조합하면 성능 저하가 발생한다(de-en에서 11.46 BLEU), 이는 낮은 품질의 백트랜스레이션 모델이 보완적 효과를 제공하지 못하고 오히려 성능에 악영향을 미칠 수 있음을 시사한다.