[논문 리뷰] Improving a Multi-Source Neural Machine Translation Model with Corpus Extension for Low-Resource Languages

GyuHyeon Choi, Jong-Hun Shin외 1명|arXiv (Cornell University)|2017. 09. 26.

Natural Language Processing Techniques참고 문헌 1인용 수 8

한 줄 요약

이 논문은 한국어-아랍어 및 한국어-베트남어와 같은 저자원 언어 쌍을 위한 다중 소스 신경 기계 번역(NMT)을 향상시키기 위해 합성 데이터 생성을 통해 훈련 코퍼스를 확장하는 방법을 제안한다. 합성된 원천 문장을 통해 목표 번역 품질을 향상시킴으로써 저자원 환경에서 코퍼스 확장을 통해 NMT 성능을 크게 향상시킬 수 있음을 입증하였으며, 다중 소스 모델링과 결합할 경우 더 큰 성능 향상을 기록하여 저자원 설정에서 최고 성능을 달성하였다.

ABSTRACT

In machine translation, we often try to collect resources to improve performance. However, most of the language pairs, such as Korean-Arabic and Korean-Vietnamese, do not have enough resources to train machine translation systems. In this paper, we propose the use of synthetic methods for extending a low-resource corpus and apply it to a multi-source neural machine translation model. We showed the improvement of machine translation performance through corpus extension using the synthetic method. We specifically focused on how to create source sentences that can make better target sentences, including the use of synthetic methods. We found that the corpus extension could also improve the performance of multi-source neural machine translation. We showed the corpus extension and multi-source model to be efficient methods for a low-resource language pair. Furthermore, when both methods were used together, we found better machine translation performance.

연구 동기 및 목표

• 저자원 언어 쌍, 예를 들어 한국어-아랍어 및 한국어-베트남어와 같은 경우의 평행 훈련 데이터 부족 문제를 해결하기 위해.
• 합성 데이터 생성 기법이 저자원 단일 언어 또는 평행 코퍼스를 효과적으로 확장하여 NMT 성능을 향상시킬 수 있는지 조사하기 위해.
• 저자원 번역을 위한 다중 소스 NMT 아키텍처와 합성 코퍼스 확장 간의 상호보완적 효과를 평가하기 위해.
• 더 높은 품질의 목표 번역을 얻을 수 있도록 합성된 원천 문장을 최적화하는 전략을 규명하기 위해.

제안 방법

• 저자원 평행 코퍼스를 보완하기 위해 저자원 언어의 백트랜슬레이션 및 언어 모델링 기법을 활용해 합성 원천 문장을 생성한다.
• 다양한 원천 입력(예: 단일 언어 원천 및 합성 원천)을 동시에 인코딩하는 다중 소스 NMT 모델을 적용하여 번역의 유창성과 정확도를 향상시킨다.
• 모델의 신뢰도 및 정렬 점수를 바탕으로 목표 번역 품질 향상 가능성이 높은 문장 구조를 우선순위로 삼아 합성 데이터를 생성한다.
• 실제 평행 데이터와 합성 평행 문장을 결합한 훈련 파이프라인을 통해 다중 소스 NMT 모델을 엔드 투 엔드로 미세조정한다.
• 평가 시험 세트에서 BLEU 점수를 사용하여 기준 모델, 합성 데이터 전용, 다중 소스 모델 전용, 그리고 병합된 접근 방식을 비교한다.

실험 결과

연구 질문

• RQ1 합성 데이터 생성 기법이 저자원 평행 코퍼스를 효과적으로 확장하여 신경 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 다중 소스 NMT 아키텍처 환경에서 합성 원천 문장의 통합이 목표 번역 품질에 어떤 영향을 미치는가?
• RQ3 다중 소스 모델링과 합성 코퍼스 확장을 결합할 경우, 각각의 방법을 별도로 사용할 때보다 더 높은 성능을 달성할 수 있는가?
• RQ4 어떤 특성을 지닌 합성 원천 문장이 더 정확한 번역 결과를 도출하는가?

주요 결과

• 합성 데이터를 활용한 코퍼스 확장이 저자원 한국어-아랍어 및 한국어-베트남어 번역 과제에서 BLEU 점수를 크게 향상시켰다.
• 다중 소스 NMT 모델은 단일 소스 기준 모델보다 성능이 뛰어나며, 특히 합성 데이터 증강과 결합했을 경우 두드러진 성능 향상을 보였다.
• 합성 코퍼스 확장과 다중 소스 모델링을 동시에 적용했을 때 가장 높은 성능을 기록하여 상호보완적 효과가 있음을 입증하였다.
• 높은 신뢰도와 목표 문장에 더 잘 정렬된 합성 문장은 더 정확한 번역 결과를 도출하는 데 기여하였다.