[논문 리뷰] An Exploration of Data Augmentation Techniques for Improving English to Tigrinya Translation

Lidia Kidane, Sachin Kumar외 1명|arXiv (Cornell University)|2021. 03. 31.

Natural Language Processing Techniques참고 문헌 22인용 수 5

한 줄 요약

이 논문은 아مهر라어—더 많은 자원을 보유하고 있으며 문법적으로 관련된 언어인 아مهر라어를 통해 역번역을 수행하는 피봇 기반 방법을 제안한다. 이를 통해 영어-티그린야 병렬 데이터의 고품질 합성 데이터를 생성한다. 비지도 모델을 활용해 티그린야-아مهر라어 및 아مهر라어-영어 번역을 수행함으로써, 기준 모델 대비 +7.1 BLEU 점수 향상을 달성하며, 이는 관련 언어를 통해 피봇을 수행할 경우 저자원 신경 기계 번역 환경에서 성능 향상에 크게 기여함을 보여준다.

ABSTRACT

It has been shown that the performance of neural machine translation (NMT) drops starkly in low-resource conditions, often requiring large amounts of auxiliary data to achieve competitive results. An effective method of generating auxiliary data is back-translation of target language sentences. In this work, we present a case study of Tigrinya where we investigate several back-translation methods to generate synthetic source sentences. We find that in low-resource conditions, back-translation by pivoting through a higher-resource language related to the target language proves most effective resulting in substantial improvements over baselines.

연구 동기 및 목표

• 티그린야어—저자원 세미틱어로서 병렬 데이터가 제한적인 언어에 대해 저자원 신경 기계 번역의 과제를 해결하기 위해.
• 관련 언어의 단독 데이터를 활용하여 데이터 증강을 위한 합성 데이터 품질을 향상시킬 수 있는지 조사하기 위해.
• 특히 아مهر라어를 통해 피봇을 수행하는 역번역 전략의 효과성을 평가하기 위해, 저자원 영어-티그린야 번역 환경에서.
• 병렬 데이터가 부족한 상황에서 관련 언어 쌍을 위한 비지도 모델이 지도 학습 대비 우수한 성능을 보일 수 있는지 확인하기 위해.

제안 방법

• 단독 티그린야어 및 아مهر라어 코퍼스를 사용해 비지도 기계 번역 기법을 활용해 티그린야-아مهر라어 모델을 훈련한다.
• 더 큰 지도 학습 병렬 코퍼스를 사용해 아머라어-영어 모델을 훈련하여 높은 품질의 번역을 확보한다.
• 두 모델을 순차적으로 사용: 단독 티그린야어 문장을 아머라어로 번역한 후, 영어로 번역하여 합성 영어-티그린야 병렬 문장을 생성한다.
• 합성 데이터를 제한된 진짜 영어-티그린야 병렬 데이터와 결합하여 최종 영어-티그린야 번역 모델을 미세조정한다.
• 다양한 역번역 전략 간 성능을 비교: 직접(티그린야-영어), 간접(아머라어-영어), 피봇 기반 방법(티그린야→아머라어→영어).
• 다양한 데이터 증강 전략(지도 및 비지도 변형 포함)에 대해 BLEU 점수를 사용해 번역 품질을 평가한다.

실험 결과

연구 질문

• RQ1 아머라어와 같이 더 많은 자원을 보유하고 있으며 문법적으로 관련된 언어를 통해 피봇을 수행하면, 저자원 영어-티그린야 번역을 위한 합성 병렬 데이터 품질이 향상되는가?
• RQ2 비지도 훈련 방식의 티그린야-아머라어 모델이 지도 학습 방식과 비교해 하류 번역 성능에서 어떻게 다를까?
• RQ3 비록 단독 데이터를 사용하고도 직접적인 역번역(티그린야-영어)이 성능이 열등한 이유는 무엇인가?
• RQ4 티그린야어와 아머라어 간 공통 어휘가 피봇 기반 방법의 성공에 얼마나 기여하는가?
• RQ5 피봇 기반 방법의 실패 원인은 무엇이며, 특히 수치와 도메인 불일치 문제에 대해 어떻게 나타나는가?

주요 결과

• 비지도 티그린야-아머라어 모델과 지도 학습 아머라어-영어 모델을 사용한 BT-Pivot-Unsup 방법은 최고의 BLEU 점수 15.52를 기록하며, 최고 기준 모델 대비 +7.12 BLEU 향상을 달성했다.
• BT-Pivot-Sup 방법은 BLEU 점수 11.54를 기록하며, 티그린야-아머라어 모델을 지도 학습 방식으로 훈련해도 상당한 성능 향상을 이룬다.
• 직접 역번역(BT-Direct)은 기준 성능을 +2.3 BLEU 점수 향상시켰지만, 병렬 데이터 부족으로 인한 낮은 품질의 합성 번역으로 인해 성능에 한계가 있다.
• 아머라어-영어 번역을 통한 간접 방법은 BLEU 점수 6.2를 기록하며, 아머라어를 통해 피봇을 수행하는 것보다 성능이 열 劣하다.
• 공통 어휘, 예를 들어 명사어 및 전치사 등은 피봇 체인을 통해 고유어의 높은 어휘 일치로 인해 잘 유지되며, 이는 성능 향상에 기여한다.
• 실패 사례로는 수치가 자주 유추되거나 잘못 번역되는 현상이 관찰되며, 이는 합성 데이터의 노이즈와 진짜 데이터(종교 문헌)와 합성 데이터(정부 발표) 간 도메인 불일치로 인한 것으로 보인다.