[논문 리뷰] Neural Machine Translation for Low-Resource Languages: A Survey

Surangika Ranathunga, En-Shiun Annie Lee외 4명|arXiv (Cornell University)|2021. 06. 29.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 종합적 리뷰는 저자원 언어(LRL)를 위한 신경 기계 번역(NMT) 기법에 대한 포괄적인 분석을 제공하며, 비지도, 준지도, 다국어, 이행 학습 NMT와 같은 핵심 기법을 규명한다. 데이터 크기, 언어 유사성, 계산 자원을 바탕으로 최적의 NMT 기법을 선택할 수 있도록 도와주는 의사결정 가이드 프레임워크를 제시하며, 공개 데이터, 모델 및 공동체 기반 자원 개발을 통해 공정한 NMT 연구 발전을 주장한다.

ABSTRACT

Neural Machine Translation (NMT) has seen a tremendous spurt of growth in less than ten years, and has already entered a mature phase. While considered as the most widely used solution for Machine Translation, its performance on low-resource language pairs still remains sub-optimal compared to the high-resource counterparts, due to the unavailability of large parallel corpora. Therefore, the implementation of NMT techniques for low-resource language pairs has been receiving the spotlight in the recent NMT research arena, thus leading to a substantial amount of research reported on this topic. This paper presents a detailed survey of research advancements in low-resource language NMT (LRL-NMT), along with a quantitative analysis aimed at identifying the most popular solutions. Based on our findings from reviewing previous work, this survey paper provides a set of guidelines to select the possible NMT technique for a given LRL data setting. It also presents a holistic view of the LRL-NMT research landscape and provides a list of recommendations to further enhance the research efforts on LRL-NMT.

연구 동기 및 목표

• 저자원 언어(LRL) 쌍에 특화된 체계적인 문헌 리뷰가 부족한 점을 보완한다.
• 비지도, 준지도, 다국어, 이행 학습 등 가장 효과적인 NMT 방법을 식별하고 분석한다.
• 데이터셋 크기, 언어 쌍의 특성, 사용 가능한 계산 자원을 바탕으로 연구자가 가장 적합한 NMT 기법을 선택할 수 있도록 실용적인 의사결정 프레임워크를 제공한다.
• 부족한 LRL 커뮤니티를 지원하기 위해 데이터, 훈련된 모델, 계산 자원에 대한 공정한 접근의 중요성을 부각시킨다.
• 지역 협력, 오픈소스 도구, 공개 모델 공유를 통해 LRL-NMT 연구를 확장하기 위한 공동체 기반 이니셔티브를 권고한다.

제안 방법

• 2013년부터 2023년까지 저자원 언어 쌍에 초점을 맞춘 NMT 연구에 대한 체계적 문헌 리뷰를 수행했다.
• 데이터 증강, 비지도 NMT, 준지도 NMT, 다국어 NMT, 이행 학습의 다섯 가지 주요 범주로 NMT 기법을 분류하고 분석했다.
• 출판 추세의 정량적 분석을 통해 상승하는 연구 추세와 기술 수용 패턴을 규명했다.
• 자료 가용성, 언어 유사성, 계산 제약 조건을 바탕으로 기법 선택을 위한 의사결정 차트를 개발했다.
• 자료 편향, 자원 부족, 접근성 문제 등이 LRL-NMT 성능과 연구의 공정성에 미치는 영향을 평가했다.
• 세 가지 요소로 구성된 권고 프레임워크를 제안했다: (1) LRL 데이터셋과 도구를 만들고 공유하고, (2) 훈련된 모델을 공개로 배포하며, (3) 지역 연구 공동체 및 계산 자원 접근성을 촉진한다.

실험 결과

연구 질문

• RQ1 저자원 언어 쌍에 적용 가능한 주요 NMT 기법은 무엇이며, 이 분야의 현재 연구 추세는 어떠한가?
• RQ2 데이터 크기, 언어 유사성, 계산 자원을 고려할 때 연구자는 어떤 저자원 언어 환경에서 가장 적합한 NMT 기법을 선택할 수 있는가?
• RQ3 LRL-NMT 발전을 가로막는 주요 장애물은 무엇이며, 연구 노력은 언어와 지역 간에 어떻게 더 공정하게 배분될 수 있는가?
• RQ4 병렬 코퍼스의 가용성은 언어별 NMT 연구량과 어떻게 관련이 있는가?
• RQ5 지속 가능하고 포용적인 LRL-NMT 연구를 위해 기관 및 공동체 수준에서 어떤 조치가 필요한가?

주요 결과

• 피봇 기법을 제외한 모든 주요 NMT 기법이 연구 출판 수에서 일관된 상승 추세를 보이며, 저자원 환경에서의 성숙도와 수용도가 높아지고 있음을 시사한다.
• 비지도, 준지도, 다국어, 이행 학습 NMT 기법은 제한된 병렬 데이터로도 효과적이므로, 저자원 번역에 있어 사실상의 해결책으로 자리 잡았다.
• 언어에 대해 공개적으로 이용 가능한 병렬 코퍼스의 양과 그 언어에 대해 수행된 NMT 연구량 사이에 강한 정적 상관관계가 존재한다.
• 지역 연구 공동체가 점점 더 병렬 데이터 생성에 기여하고 있으며, 이는 국지적 NMT 발전을 촉진하고 있다.
• 대규모 다국어 NMT 모델의 공개 배포(예: Liu 등, 2020) 덕분에 저자원 언어로의 효율적 이행 학습이 가능해져 훈련 비용이 크게 감소했다.
• 진전이 있었음에도 불구하고, 계산 자원, 사전 훈련된 모델, 오픈소스 도구에 대한 접근성은 여전히 주요 장애물이며, 특히 부족한 지역에 소속된 연구자들에게 더욱 심각한 문제로 작용한다.