[논문 리뷰] A Survey of Methods to Leverage Monolingual Data in Low-resource Neural Machine Translation

Ilshat Gibadullin, Aidar Valeev외 2명|arXiv (Cornell University)|2019. 10. 01.

Natural Language Processing Techniques참고 문헌 24인용 수 12

한 줄 요약

이 종합 검토는 저자원 신경 기계 번역에서 단일 언어 데이터를 활용하는 방법을 분류하고 평가하며, 아키텍처에 의존하지 않는(예: 역번역, 왕복 훈련) 및 아키텍처에 의존하는 접근법(예: 입력 재정렬, 사전 훈련)을 구분한다. 아키텍처에 의존하지 않는 방법, 특히 왕복 훈련과 역번역은 대규모 평행 코퍼스에서 기준 모델 대비 +4.7 BLEU를 기록하는 반면, 입력 재정렬과 같은 아키텍처에 의존하는 방법은 +4.3 BLEU를 기록하여 제한된 평행 데이터 조건에서도 뚜렷한 성능 향상을 보인다.

ABSTRACT

Neural machine translation has become the state-of-the-art for language pairs with large parallel corpora. However, the quality of machine translation for low-resource languages leaves much to be desired. There are several approaches to mitigate this problem, such as transfer learning, semi-supervised and unsupervised learning techniques. In this paper, we review the existing methods, where the main idea is to exploit the power of monolingual data, which, compared to parallel, is usually easier to obtain and significantly greater in amount.

연구 동기 및 목표

• 부족한 평행 훈련 데이터로 인한 저자원 언어 쌍에서 번역 품질이 열 劣화되는 문제를 해결하기 위해.
• 단일 언어 데이터를 활용하여 신경 기계 번역을 향상시키는 기존 방법들을 체계적으로 분류하기 위해.
• 아키텍처에 의존하지 않는 및 의존하는 접근법이 번역 성능 향상에 미치는 영향을 비교하기 위해.
• 최적의 단일 언어 데이터 활용, 도메인 일치, 비도메인 데이터 통합에 관해 열려 있는 연구 과제를 규명하기 위해.

제안 방법

• 모델 호환성 및 아키텍처 수정 여부에 따라 단일 언어 데이터 활용 방법을 아키텍처에 의존하지 않는 그룹과 의존하는 그룹으로 분류하기.
• 역번역, 왕복 훈련, 얕은 융합과 같은 아키텍처에 의존하지 않는 방법을 평가하여 합성 평행 데이터를 생성하거나 사전 훈련된 모델을 통합한다.
• 입력 문장 재정렬, 파rameter 동결을 통한 전방 번역, 단일 언어 데이터를 사용한 NMT 모델 사전 훈련과 같은 아키텍처에 의존하는 기법을 분석한다.
• 언어 모델링과 다중 작업 학습을 NMT 아키텍처에 통합하여 일반화 능력과 강인성을 향상시킨다.
• 다양한 평행 데이터 크기와 단일 언어 데이터 전략에 따라 모델 성능을 정량적으로 비교하기 위해 BLEU 점수를 사용한다.
• 그림 1에 제시된 분류 체계를 통해 기법 간의 관계와 핵심 아이디어를 시각적으로 정리한다.

실험 결과

연구 질문

• RQ1 어떻게 단일 언어 데이터를 저자원 환경에서 번역 품질 향상에 효과적으로 활용할 수 있는가?
• RQ2 제한된 평행 데이터와 함께 단일 언어 데이터의 최적 비율과 도메인 일치 비율은 무엇인가?
• RQ3 다양한 평행 데이터 크기에서 아키텍처에 의존하지 않는 방법과 의존하는 방법 간의 성능 향상 수준는 어떻게 비교되는가?
• RQ4 저자원 NMT에서 단일 언어 데이터에 대한 가장 효과적인 도메인 적응 기법은 무엇인가?
• RQ5 번역 품질을 떨어뜨리지 않고 비도메인 단일 언어 데이터는 어떻게 활용할 수 있는가?

주요 결과

• 왕복 훈련은 30만 개 이상의 평행 문장 쌍을 사용해 훈련했을 때 기준 모델 대비 +4.7 BLEU 향상을 기록했다.
• 역번역은 30만 개의 평행 문장을 사용해 +2.7 BLEU 향상을 기록했으며, 더 작은 평행 코퍼스로 훈련된 기준 모델보다 우수한 성능을 보였다.
• 입력 문장 재정렬은 62만 개의 평행 데이터셋에서 +4.3 BLEU의 최고 향상을 기록하여 대규모 저자원 환경에서도 뛰어난 성능을 입증했다.
• 단일 언어 데이터로 사전 훈련한 Transformer 모델은 단지 2만 개의 평행 문장만을 사용해 +1.4 BLEU 향상을 기록했으며, 이는 낮은 데이터 환경에서의 효과성을 시사한다.
• 전방 번역 및 심층 융합과 같은 아키텍처에 의존하는 방법은 각각 +3.2 및 +1.19 BLEU의 향상을 기록해 작은 평행 데이터셋에서 강력한 성능 향상을 보였다.
• 별도의 언어 모델과 NMT 모델을 융합한 방법은 제한된 성능 향상을 보였으며, 이는 NMT 아키텍처 내부에 통합하는 것이 더 효과적임을 시사한다.