[논문 리뷰] Machine Translation: A Literature Review

Ankush Garg, Mayank Agarwal|arXiv (Cornell University)|2018. 12. 28.

Natural Language Processing Techniques참고 문헌 46인용 수 9

한 줄 요약

이 문헌 고찰은 규칙 기반 및 통계적 방법에서 현대의 신경 기계 번역(NMT)으로의 기계 번역의 발전을 조사하며, 주의 메커니즘, 순서-순서 모델링, 비지도 학습의 발전을 강조한다. 이는 NMT가 최첨단 성능을 달성하고 있음을 보여주며, 최근의 모델들인 '모든 것을 하나의 모델로 배우기'는 다중 작업 학습을 가능하게 하고, 비지도 NMT는 제한된 병렬 데이터 조건에서도 뚜렷한 성과 향상을 보이고 있다.

ABSTRACT

Machine translation (MT) plays an important role in benefiting linguists, sociologists, computer scientists, etc. by processing natural language to translate it into some other natural language. And this demand has grown exponentially over past couple of years, considering the enormous exchange of information between different regions with different regional languages. Machine Translation poses numerous challenges, some of which are: a) Not all words in one language has equivalent word in another language b) Two given languages may have completely different structures c) Words can have more than one meaning. Owing to these challenges, along with many others, MT has been active area of research for more than five decades. Numerous methods have been proposed in the past which either aim at improving the quality of the translations generated by them, or study the robustness of these systems by measuring their performance on many different languages. In this literature review, we discuss statistical approaches (in particular word-based and phrase-based) and neural approaches which have gained widespread prominence owing to their state-of-the-art results across multiple major languages.

연구 동기 및 목표

• 기계 번역 연구의 역사적 발전과 현재 상태에 대한 종합적 개요를 제공하기 위해.
• 특히 단어 기반 및 어구 기반 모델을 포함한 통계적 기계 번역(SMT)의 강점과 한계를 분석하기 위해.
• 신경 기계 번역(NMT)의 부상과 주의 메커니즘 및 순서-순서 모델링을 포함한 아키텍처 혁신을 검토하기 위해.
• 단일 언어 데이터와 역번역을 활용한 비지도 및 자원이 적은 신경 기계 번역의 최근 발전을 탐구하기 위해.
• 다양한 자연어 처리(NLP) 작업에 걸쳐 일반화 능력을 향상시키는 데 효과적인가를 평가하기 위해 '모든 것을 하나의 모델로 배우기'와 같은 통합 다중 작업 아키텍처의 잠재력을 평가하기 위해.

제안 방법

• 규칙 기반 기계 번역(RBMT)의 기초적 연구를 조사하였으며, 직접 번역, 이행, 상호어 시스템을 포함하고, 의미적 및 구조적 과제에 중점을 두었다.
• 수식 $ T = \arg\max_T P(T|S) = \arg\max_T P(T)P(S|T) $ 를 사용한 통계적 기계 번역(SMT)을 검토하였으며, 여기서 $ P(T) $ 는 언어 모델이고 $ P(S|T) $ 는 번역 모델이다.
• 어구 기반 SMT를 분석하였으며, 어구 수준에서 번역을 모델링하고, 정렬 및 왜곡 모델을 사용하여 유창성과 정확도를 향상시켰다.
• 주석 메커니즘을 활용한 인코더-디코더 아키텍처를 사용한 신경 기계 번역(NMT)을 탐구하여 맥락 모델링과 장거리 의존성 처리 능력을 향상시켰다.
• 노이즈 제거 오토인코더와 실시간 역번역을 활용한 비지도 NMT 기법을 논의하여 가짜 병렬 단일 언어 데이터를 생성하였다.
• '모든 것을 하나의 모델로 배우기'와 같은 다중 작업 NMT 아키텍처를 평가하였으며, 공유 인코더, 모odal별 헤드, 전문가의 혼합 모델을 사용하여 다양한 작업 간의 공동 학습을 구현하였다.

실험 결과

연구 질문

• RQ1 아키텍처, 성능, 데이터 요구 사항 측면에서 규칙 기반, 통계적, 신경 기계 번역 시스템은 어떻게 진화해 왔는가?
• RQ2 기존의 SMT 접근 방식에 비해 NMT에서 주의 메커니즘과 순서-순서 모델링의 핵심적 이점은 무엇인가?
• RQ3 단지 단일 언어 데이터로만 훈련된 비지도 NMT 모델이 감독 학습 시스템과 비교해 어느 정도의 성능을 달성할 수 있는가?
• RQ4 통합 신경 아키텍처는 개별 작업의 성능을 희생시키지 않고도 여러 NLP 작업(예: 기계 번역 포함)을 효과적으로 학습할 수 있는가?
• RQ5 역번역 및 노이즈 제거 기법은 자원이 적은 신경 번역 시스템의 강건성과 일반화 능력을 어떻게 향상시키는가?

주요 결과

• 신경 기계 번역(NMT)은 번역 품질 측면에서 통계적 방법을 초월하여 중국어-영어 뉴스 번역 작업에서 인간 수준의 성능을 달성하였다.
• NMT에서 주의 메커니즘이 번역 도중 관련된 소스 단어에 초점을 맞추도록 해, 성능 향상에 기여하였다.
• 노이즈 제거와 실시간 역번역을 활용한 비지도 NMT는 독일어-영어 및 프랑스어-영어 번역 작업에서 기준 성능을 최소 40% 향상시켰다.
• '모든 것을 하나의 모델로 배우기' 아키텍처는 기계 번역을 포함한 다양한 작업에서 거의 최첨단 성능을 달성하였으며, 효율성과 일반화 능력을 유지하였다.
• OOV(어휘에 없는 단어) 처리를 위해 단어 정렬 정보를 NMT 시스템에 통합함으로써 WMT’14 영어-프랑스어 번역 작업에서 BLEU 점수를 최대 2.8점 향상시켰다.
• 최소한의 병렬 데이터 조건에서도 비지도 NMT 방법은 측정 가능한 성과 향상을 보였으며, 자원이 적은 언어 번역 분야에서 강력한 잠재력을 보였다.