[논문 리뷰] Low-Resource Machine Translation Training Curriculum Fit for Low-Resource Languages

Garry Kuwanto, Afra Feyza Akyürek외 4명|arXiv (Cornell University)|2021. 03. 24.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 병렬 데이터가 극히 적은 저자원 신경 기계 번역(NMT)을 위한 저계산량, 약한 지도 학습 기반 학습 커리큘럼을 제안한다. 이는 비교 가능한 위키백과 데이터와 코드 스위칭을 활용한 사전 훈련을 통해 성능을 크게 향상시키며, 최소한의 병렬 데이터로도 효과를 발휘한다. 동일한 계산 자원 제약 조건에서 감독 학습 NMT 대비 영어→구자라티 번역에서 +12.2 BLEU, 영어→카자흐어 번역에서 +3.7 BLEU 향상되었으며, 감독 학습 데이터를 사용한 소말리어→영어 번역에서 새로운 SOTA BLEU 점수 29.3을 달성했다.

ABSTRACT

We conduct an empirical study of neural machine translation (NMT) for truly low-resource languages, and propose a training curriculum fit for cases when both parallel training data and compute resource are lacking, reflecting the reality of most of the world's languages and the researchers working on these languages. Previously, unsupervised NMT, which employs back-translation (BT) and auto-encoding (AE) tasks has been shown barren for low-resource languages. We demonstrate that leveraging comparable data and code-switching as weak supervision, combined with BT and AE objectives, result in remarkable improvements for low-resource languages even when using only modest compute resources. The training curriculum proposed in this work achieves BLEU scores that improve over supervised NMT trained on the same backbone architecture by +12.2 BLEU for English to Gujarati and +3.7 BLEU for English to Kazakh, showcasing the potential of weakly-supervised NMT for the low-resource languages. When trained on supervised data, our training curriculum achieves a new state-of-the-art result on the Somali dataset (BLEU of 29.3 for Somali to English). We also observe that adding more time and GPUs to training can further improve performance, which underscores the importance of reporting compute resource usage in MT research.

연구 동기 및 목표

• 병렬 데이터와 계산 자원이 극히 제한된 진정한 저자원 언어에 대해 효과적인 NMT가 부족한 점을 보완하기 위해.
• 저자원 언어 공동체의 연구자들이 겪는 현실적인 제약 조건을 고려한 학습 커리큘럼을 개발하기 위해.
• 고자원 관련 언어나 대규모 사전 훈련에 의존하지 않고도 비감독 및 약한 지도 학습 기반 NMT 성능을 향상시키기 위해.
• 비슷한 단일 언어 데이터와 코드 스위칭이 저자원 NMT에 효과적인 약한 지도 학습으로 기능할 수 있음을 보여주기 위해.
• NMT 연구에서 계산 자원 사용의 부족한 평가가 이루어지는 영향을 부각시키고, 투명한 보고를 촉구하기 위해.

제안 방법

• 목표 언어와 영어 언어 간의 어휘 유사도를 위해 Panlex 사전을 활용해 다국어 위키백과에서 유사 문장 쌍을 추출한다.
• 동일한 사전을 사용해 뉴스 기사를 목표 언어로 번역하여 코드 스위칭된 단일 언어 데이터를 생성함으로써 이중 언어 언어 모델 사전 훈련을 강화한다.
• 백트랜슬레이션, 오토에코딩, 비교 가능한 데이터 훈련 목표를 순차적으로 적용하는 다단계 학습 커리큘럼을 설계한다.
• 표준 Transformer 기반 NMT 아키텍처를 사용하며, 저자원 연구자들이 실제로 겪는 제약 조건을 시뮬레이션하기 위해 최소한의 계산 자원(1x 32GB GPU)을 사용한다.
• 사전 훈련 단계에서 코드 스위칭 데이터를 우선적으로 활용하고, 이후 약한 지도 학습 기반 비교 가능한 데이터로 미세 조정한 후, 가용한 병렬 데이터로 최종 미세 조정하는 커리큘럼를 적용한다.
• 표준 테스트 세트에서 BLEU 점수를 사용해 성능을 평가하며, 각 구성 요소의 기여도를 분리하기 위해 추론 분석(ablation studies)를 실시한다.

실험 결과

연구 질문

• RQ1 어휘 유사도 기반으로 추출한 비교 가능한 위키백과 데이터가 저계산 환경에서 저자원 NMT 성능을 크게 향상시킬 수 있는가?
• RQ2 사전 훈련 단계에서 코드 스위칭을 활용하면 저자원 언어의 약한 지도 학습 기반 NMT 성능 향상에 기여하는가?
• RQ3 동일한 백본과 계산 예산을 사용할 때, 제안된 커리큘럼의 성능은 감독 학습 NMT와 비교해 어떻게 되는가?
• RQ4 언어적 거리(예: 문자 체계, 형태론, 문법)가 제안된 커리큘럼의 성능 향상에 얼마나 영향을 미치는가?
• RQ5 계산 시간과 GPU 사용량을 늘일 경우 성능 향상가 얼마나 이루어지며, 왜 이는 일반적으로 NMT 연구에서 부족하게 보고되는가?

주요 결과

• 제안된 커리큘럼는 동일한 모델과 계산 환경을 사용할 때 감독 학습 NMT 대비 영어→구자라티 번역에서 +12.2 BLEU, 영어→카자흐어 번역에서 +3.7 BLEU 향상되었다.
• 소말리어→영어 번역에서는 감독 학습 데이터를 사용한 결과, 이전 방법들을 능가하는 새로운 SOTA BLEU 점수 29.3을 달성했다.
• 비교 가능한 위키백과 데이터만을 사용해도, 형태학적으로 복잡한 카자흐어의 경우에도 비감독 학습 기반 NMT 성능이 4.6에서 6.2 BLEU 향상되었다.
• 코드 스위칭 사전 훈련은 성능 향상에 크게 기여했으며, 추론 분석에서 세 언어 모두에서 개선 효과가 관찰되었다.
• 훈련 시간을 연장하고 GPU를 더 많이 사용할 경우 추가로 6.8 BLEU 향상이 이루어졌으며, 이는 NMT 연구에서 계산 자원 사용의 영향이 일반적으로 부족하게 보고되고 있음을 강조한다.
• 언어적 거리(문법 벡터, 문자 유사도, 유형학적 특성 등을 통해 측정)와 성능 간 상관관계가 있으며, 가장 거리가 먼 카자흐어의 경우에도 커리큘럼 덕분에 성능 향상이 있었음에도 불구하고 가장 낮은 점수를 기록했다.