[논문 리뷰] Dictionary-based Data Augmentation for Cross-Domain Neural Machine Translation

Wei Peng, Chongxuan Huang외 3명|arXiv (Cornell University)|2020. 04. 06.

Natural Language Processing Techniques참고 문헌 21인용 수 14

한 줄 요약

이 논문은 교차 도메인 신경 기계 번역을 위한 사전 기반 데이터 증강(DDA)을 제안한다. 이 방법은 도메인 특화 사전과 도메인 외(OOD) 비틀렉스트를 활용하여 대규모 가짜 내도메인(IND) 병렬 코퍼스를 자동으로 생성한다. 이 방법은 도메인 커버리지 향상을 통해 번역 성능을 크게 향상시키며, 기준 모델 대비 3.75–11.53 BLEU 향상을 기록하고 백트랜슬레이션 기법과 보완적으로 작용한다.

ABSTRACT

Existing data augmentation approaches for neural machine translation (NMT) have predominantly relied on back-translating in-domain (IND) monolingual corpora. These methods suffer from issues associated with a domain information gap, which leads to translation errors for low frequency and out-of-vocabulary terminology. This paper proposes a dictionary-based data augmentation (DDA) method for cross-domain NMT. DDA synthesizes a domain-specific dictionary with general domain corpora to automatically generate a large-scale pseudo-IND parallel corpus. The generated pseudo-IND data can be used to enhance a general domain trained baseline. The experiments show that the DDA-enhanced NMT models demonstrate consistent significant improvements, outperforming the baseline models by 3.75-11.53 BLEU. The proposed method is also able to further improve the performance of the back-translation based and IND-finetuned NMT models. The improvement is associated with the enhanced domain coverage produced by DDA.

연구 동기 및 목표

• 제한된 내도메인(IND) 병렬 데이터와 기존 데이터 증강 기법에서의 도메인 정보 격차로 인한 NMT의 도메인 불일치 문제를 해결하기 위해.
• 백트랜슬레이션과 단일 언어 데이터 증강의 한계를 극복하기 위해 전문 도메인의 희귀어나 어휘 외어(OOV) 용어를 충분히 커버하지 못하는 문제를 해결하기 위해.
• 내도메인 단일 언어 데이터가 필요 없이 대규모 가짜 IND 병렬 코퍼스를 생성하는 실용적이고 확장 가능한 방법을 개발하기 위해.
• 사전에서 제공하는 포괄적인 도메인 특화 어휘를 학습 데이터에 통합하여 희귀어 및 OOV 어휘의 번역 정확도를 향상시키기 위해.
• 사전 기반 증강이 교차 도메인 NMT에서 백트랜슬레이션과 보완적으로 작용할 수 있는 실질적이고 타당한 대안임을 입증하기 위해.

제안 방법

• 광범위하게 이용 가능한 도메인 사전(예: SNOMED-CT)과 일반 도메인 단일 언어 코퍼스를 사용하여 도메인 특화 双어어휘를 구축한다.
• 비틀렉스트 문장에 도메인 특화 어휘를 사전에서 대체하여 도메인 외(OOD) 비틀렉스트 문장을 대체함으로써 대규모 가짜 IND 병렬 코퍼스를 자동으로 생성한다. 이 과정에서 문장의 어순 및 구조적 패턴을 유지한다.
• 비틀렉스트 문장 내 단어나 어구를 사전에서 제공하는 도메인 특화 번역어로 대체하는 사전 기반 대체 메커니즘을 사용하여 언어학적 타당성을 확보한다.
• 강화된 도메인 커버리지(ED)는 생성된 데이터, 테스트 세트, 그리고 IND 사전 간의 n-gram 매칭을 통해 정량화되며, ED는 데이터와 테스트 세트 양쪽에 모두 나타나는 사전의 고유한 1–5-gram 어휘의 수로 정의된다.
• 일般 도메인 NMT 모델을 OOD 병렬 데이터로 미세조정한 후 이 방법을 적용하며, 추가로 백트랜슬레이션과 조합하여 성능 향상을 도모할 수 있다.
• 이 방법은 뉴스 및 의료 도메인에서 네 가지 번역 방향(EN↔FR, EN↔DE)에 대해 BLEU 점수와 도메인 커버리지 분석을 통해 평가된다.

실험 결과

연구 질문

• RQ1 내도메인 단일 언어 데이터가 필요 없이 사전 기반 데이터 증강이 교차 도메인 NMT 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 백트랜슬레이션 대비 DDA는 희귀어 및 어휘 외어 도메인 어휘 커버리지에서 어떻게 비교되는가?
• RQ3 강화된 도메인 커버리지(ED)는 DDA 향상 모델의 BLEU 점수 향상과 어느 정도 상관관계가 있는가?
• RQ4 DDA는 백트랜슬레이션으로 포착되지 않는 독립적이고 고도로 커버리지된 도메인 특화 어구를 생성함으로써 백트랜슬레이션과 보완적 역할을 할 수 있는가?
• RQ5 IND 사전의 크기가 DDA 향상 NMT 모델의 성능 향상에 직접적인 영향을 미치는가?

주요 결과

• DDA 향상 NMT 모델은 네 가지 번역 방향에서 기준 모델 대비 일관되고 뚜렷한 성능 향상을 기록하며, BLEU 점수 향상 폭은 3.75에서 11.53에 이르렀다.
• 향상된 도메인 커버리지(ED)와 강한 상관관계가 있으며, 더 큰 IND 사전을 사용할수록 ED가 높아지고 BLEU 점수도 향상된다.
• 백트랜슬레이션보다 DDA가 더 넓은 범위의 도메인 특화 어휘를 생성한다. 특히 'Lower respiratory tract infection'이나 'Renal artery stenosis'와 같은 4-어구에서 백트랜슬레이션으로는 포착되지 않는 어휘를 효과적으로 생성한다.
• DDA-G(DDA로 생성된 데이터)는 백트랜슬레이션 대비 45개의 추가적인 IND 어휘를 포착하며, 특히 4-어구 분포에서 뚜렷한 우위를 보이며 복잡한 어휘의 커버리지가 뛰어나다는 것을 시사한다.
• 백트랜슬레이션과 조합할 경우 DDA는 성능 향상에 더 큰 기여를 하며, 이는 DDA가 효과적인 보완적 데이터 증강 전략임을 입증한다.
• 이 방법은 포괄적인 도메인 특화 어휘를 학습 데이터에 성공적으로 통합하여 전문 도메인의 희귀어 및 어휘 외어에 대한 번역 오류를 크게 감소시켰다.