[논문 리뷰] Low-Resource Machine Translation for Low-Resource Languages: Leveraging Comparable Data, Code-Switching and Compute Resources.

Garry Kuwanto, Afra Feyza Akyürek외 3명|arXiv (Cornell University)|2021. 03. 24.

Natural Language Processing Techniques참고 문헌 59인용 수 14

한 줄 요약

이 논문은 병렬 데이터가 전혀 없고 계산 자원이 제한된 진정한 저자원 언어에 대해, 유사한 단일 언어 데이터와 이중어 사전을 사용하는 약한 지도 학습 방법을 제안한다. 최소한의 계산 자원을 활용하여 사전 기반의 코드 스위칭을 적용함으로써, 영어→구자라티 번역에서 지도 학습 기반 모델 대비 BLEU 점수를 최대 +18.88 향상시키며, 낮은 데이터 및 계산 자원 조건에서도 뛰어난 성능을 보여준다.

ABSTRACT

We conduct an empirical study of unsupervised neural machine translation (NMT) for truly low resource languages, exploring the case when both parallel training data and compute resource are lacking, reflecting the reality of most of the world's languages and the researchers working on these languages. We propose a simple and scalable method to improve unsupervised NMT, showing how adding comparable data mined using a bilingual dictionary along with modest additional compute resource to train the model can significantly improve its performance. We also demonstrate how the use of the dictionary to code-switch monolingual data to create more comparable data can further improve performance. With this weak supervision, our best method achieves BLEU scores that improve over supervised results for English$ ightarrow$Gujarati (+18.88), English$ ightarrow$Kazakh (+5.84), and English$ ightarrow$Somali (+1.16), showing the promise of weakly-supervised NMT for many low resource languages with modest compute resource in the world. To the best of our knowledge, our work is the first to quantitatively showcase the impact of different modest compute resource in low resource NMT.

연구 동기 및 목표

• 병행 병행 데이터가 없고 계산 자원이 제한된 진정한 저자원 언어에 대해 효과적인 신경 기계 번역 모델을 훈련하는 데 도전한다.
• 유사한 단일 언어 데이터와 이중어 사전을 통한 약한 지도 신호를 활용하여 비지도 NMT의 성능 향상 가능성을 탐색한다.
• 저자원 환경에서 적은 계산 자원이 모델 성능에 미치는 영향을 조사한다.
• 사전 기반으로 단일 언어 데이터를 코드 스위칭하여 더 효과적인 유사 병행 데이터를 생성할 수 있음을 보여준다.
• 저자원 환경에서 순수 비지도 및 지도 학습 기반 모델 대비 약한 지도 학습 NMT의 성능 향상 정도를 정량화한다.

제안 방법

• 이중어 사전을 사용하여 유사한 단일 언어 데이터를 추출하여 저자원 NMT에 대한 약한 지도 신호를 생성한다.
• 사전 기반 코드 스위칭을 단일 언어 문장에 적용하여 훈련을 위한 시뮬레이션 병행 유사 쌍을 생성한다.
• 최소한의 추가 계산 자원을 사용하여 유사 병행 데이터와 코드 스위칭된 데이터를 결합하여 비지도 NMT 모델을 훈련한다.
• 표준 비지도 NMT 프레임워크(예: 역번역)를 약한 지도 학습 데이터로 강화하여 모델 정렬 및 번역 품질을 향상시킨다.
• 훈련 스텝 수, 모델 크기 등 계산 자원을 체계적으로 변화시켜 성능에 미치는 영향을 평가한다.
• 영어→구자라티, 영어→카자흐어, 영어→소말리어와 같은 저자원 언어 쌍에서 BLEU와 같은 표준 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이중어 사전를 통해 추출한 유사한 단일 언어 데이터가 저자원 환경에서 비지도 NMT 성능을 크게 향상시킬 수 있는가?
• RQ2 사전를 사용한 단일 언어 데이터의 코드 스위칭이 약한 지도 학습 NMT의 품질에 어느 정도 향상 효과를 미치는가?
• RQ3 적은 계산 자원의 증가가 진정한 저자원 언어의 비지도 NMT 성능에 어떻게 영향을 미치는가?
• RQ4 병행 데이터가 전혀 없는 저자원 환경에서 약한 지도 학습 NMT가 지도 및 비지도 기반 모델을 모두 능가할 수 있는가?
• RQ5 저자원 언어 쌍에서 훈련할 때 계산 자원의 다양한 수준이 모델 성능에 미치는 정량적 영향은 무엇인가?

주요 결과

• 영어→구자라티 번역에서 제안된 방법이 지도 학습 기반 모델 대비 BLEU 점수를 +18.88 향상시켰다.
• 영어→카자흐어 번역에서, 이 방법은 지도 모델 대비 BLEU 점수를 +5.84 향상시켜 저자원 환경에서 뚜렷한 성과를 보였다.
• 영어→소말리어 번역에서 +1.16 BLEU 향상이 관찰되어 가장 도전적인 저자원 언어 쌍에서도 일관된 성과를 보였다.
• 사전 기반 코드 스위칭을 통해 유사 병행 데이터의 품질이 크게 향상되어 모델 정렬 및 번역 품질이 향상되었다.
• 이 연구는 진정한 저자원 NMT 환경에서 적은 계산 자원이 성능에 미치는 영향을 처음으로 정량적으로 분석하였다.
• 결과적으로, 사전를 활용한 유사 병행 데이터 추출 및 코드 스위칭을 통한 약한 지도 학습이 비지도 및 지도 학습 접근 방식을 모두 능가하는 것으로 나타났다.