[논문 리뷰] Multi-Source Neural Machine Translation with Data Augmentation

Yuta Nishimura, Katsuhito Sudoh외 2명|arXiv (Cornell University)|2018. 10. 16.

Natural Language Processing Techniques참고 문헌 6인용 수 14

한 줄 요약

이 논문은 다중 소스 신경 기계 번역(NMT)을 위한 데이터 증강 방법을 제안하며, 인간 번역이 누락된 다국어 코퍼스의 빈번한 번역을 훈련된 다중 소스 NMT 모델이 생성한 가짜 번역으로 보완한다. 이 방법은 <NULL> 토큰으로 누락 데이터를 대체하는 기준 방법보다 번역 성능을 크게 향상시켜, 특히 원본 언어와 목표 언어가 유사할 경우 최대 2 BLEU 포인트 향상된다.

ABSTRACT

Multi-source translation systems translate from multiple languages to a single target language. By using information from these multiple sources, these systems achieve large gains in accuracy. To train these systems, it is necessary to have corpora with parallel text in multiple sources and the target language. However, these corpora are rarely complete in practice due to the difficulty of providing human translations in all of the relevant languages. In this paper, we propose a data augmentation approach to fill such incomplete parts using multi-source neural machine translation (NMT). In our experiments, results varied over different language combinations but significant gains were observed when using a source language similar to the target language.

연구 동기 및 목표

• 다중 소스 NMT에서 일부 원본 언어에 인간이 애너테이션한 번역이 없는 다국어 병렬 코퍼스의 문제를 해결하기 위해.
• <NULL> 토큰을 사용하는 대신 기계로 생성된 가짜 번역을 활용해 누락된 데이터를 보완함으로써 번역 정확도를 향상시키기 위해.
• 다국어 번역 설정에서 자원이 적은 환경에서 기존 방법보다 다중 소스 NMT를 통한 데이터 증강이 우월한지 조사하기 위해.
• 다양한 언어 쌍에서 '채우기', '채우기 및 대체', '채우기 및 추가'와 같은 다양한 증강 전략의 효과를 평가하기 위해.
• 개선된 가짜 번역을 사용한 반복 학습을 통해 모델 성능을 추가로 향상시킬 수 있는지 탐색하기 위해.

제안 방법

• 기존에 훈련된 다중 소스 NMT 모델을 사용해 누락된 원본 문장을 위한 가짜 번역을 생성하고, <NULL> 토큰을 기계로 생성된 번역으로 대체한다.
• 세 가지 증강 전략을 제안한다: '채우기'(누락된 부분만 채움), '채우기 및 대체'(기존 목표를 가짜 번역으로 대체함), '채우기 및 추가'(가짜 번역을 추가 소스로 추가함).
• 다중 인코더 NMT 아키텍처와 글로벌 어텐션을 사용하며, 다수의 원본 언어에서 온 인코더 상태를 연결하고 디코더의 초기 은닉 상태와 셀 상태로 투영한다.
• 가짜 번역은 영어와 각 목표 언어 간의 병렬 데이터를 기반으로 훈련된 일대일 NMT 모델을 사용해 생성되며, 이는 다중 소스 NMT의 훈련 데이터 증강에 사용된다.
• 이 방법은 번역이 자주 누락되는 자발적 기여로 인해 문제가 되는 TED 강연 자막과 같은 다국어 코퍼스에서 평가된다.
• 반복 학습을 탐색하며, 피드백 루프에서 업데이트된 가짜 번역을 사용해 다중 소스 NMT 모델을 재학습한다.

실험 결과

연구 질문

• RQ1 다중 소스 NMT에서 가짜 번역을 활용한 데이터 증강이 누락된 다국어 코퍼스에서의 번역 성능을 향상시킬 수 있는가?
• RQ2 다른 증강 전략—'채우기', '채우기 및 대체', '채우기 및 추가'—는 다양한 언어 쌍에서 번역 정확도에 어떤 영향을 미치는가?
• RQ3 가짜 번역 생성에 사용된 일대일 NMT 모델의 품질이 증강 방법의 효과성에 영향을 미치는가?
• RQ4 다중 학습 루프를 통해 가짜 번역을 반복적으로 개선하면 모델 성능이 추가로 향상되는가?
• RQ5 다국어 코퍼스의 비병렬성(예: 한 언어에서 일부 문장이 누락됨)이 번역 품질에 어떤 영향을 미치며, 증강이 이러한 비일관성을 해결하는 데 도움이 되는가?

주요 결과

• 제안된 데이터 증강 방법은 <NULL> 기준 방법 대비 최대 2 BLEU 포인트 향상되었으며, 특히 원본 언어와 목표 언어가 유사한 경우에 두드러진 성과를 보였다.
• '채우기 및 추가' 전략은 베트남어-영어 및 인도네시아어-영어 쌍에서 가장 높은 BLEU 점수를 기록했으며, 이는 이러한 코퍼스에서 누락 데이터 비율이 낮아서일 가능성이 높다.
• 적극적인 전략인 '채우기 및 대체'와 '채우기 및 추가'는 크로아티아어, 세르비아어, 슬로바키아어, 체코어 쌍에서 심각한 BLEU 점수 하락을 초래했으며, 이는 잡음이 많은 가짜 번역이 성능을 떨어뜨릴 수 있음을 시사한다.
• 업데이트된 가짜 번역을 사용한 반복 학습은 점진적인 BLEU 점수 하락을 초래했으며, 이는 잡음 축적 효과가 잠재적 이점을 상쇄함을 시사한다.
• 비병렬성 문제, 예를 들어 한 언어에서 일부 문장이 누락된 경우, 가짜 번역을 통해 완화되었으며, 세르비아어 예시에서 'Dozvolite mi'가 누락된 내용을 보완하기 위해 추가된 것으로 나타났다.
• 증강에 사용된 원본 언어가 목표 언어와 언어적으로 유사할 경우 이 방법이 가장 효과적이며, 이는 비슷한 언어 쌍에서 두드러진 성과 향상으로 확인되었다.