[논문 리뷰] Machine Translation : From Statistical to modern Deep-learning practices

Siddhant Srivastava, Anupam Shukla외 1명|arXiv (Cornell University)|2018. 12. 11.

Natural Language Processing Techniques참고 문헌 29인용 수 7

한 줄 요약

이 논문은 통계적 방법에서 현대 딥러닝으로의 기계 번역의 발전을 조사하며, 구성 요소 수준의 딥러닝 향상과 어텐션 메커니즘을 갖춘 인코더-디코더 아키텍처를 사용한 엔드 투 엔드 신경 기반 기계 번역(NMT)에 초점을 맞춘다. NMT의 주요 과제들—자료 부족, 해석 가능성, 계산 요구 사항—을 밝히고, 경량 모델, 다국어 시스템, 다중 모odal 아키텍처 분야의 향후 연구 방향을 제시한다.

ABSTRACT

Machine translation (MT) is an area of study in Natural Language processing which deals with the automatic translation of human language, from one language to another by the computer. Having a rich research history spanning nearly three decades, Machine translation is one of the most sought after area of research in the linguistics and computational community. In this paper, we investigate the models based on deep learning that have achieved substantial progress in recent years and becoming the prominent method in MT. We shall discuss the two main deep-learning based Machine Translation methods, one at component or domain level which leverages deep learning models to enhance the efficacy of Statistical Machine Translation (SMT) and end-to-end deep learning models in MT which uses neural networks to find correspondence between the source and target languages using the encoder-decoder architecture. We conclude this paper by providing a time line of the major research problems solved by the researchers and also provide a comprehensive overview of present areas of research in Neural Machine Translation.

연구 동기 및 목표

• 통계적 기계 번역(SMT)에서 엔드 투 엔드 신경 기반 기계 번역(NMT)으로의 전환을 종합적으로 개괄하는 것.
• 딥러닝이 언어 모델 및 번역 모델 등의 SMT 구성 요소를 어떻게 향상시키는지 분석하는 것.
• 어텐션 메커니즘을 갖춘 인코더-디코더 프레임워크에 기반한 엔드 투 엔드 NMT 모델의 아키텍처와 과제를 검토하는 것.
• 자료 부족, 모델의 해석 가능성, 계산 효율성 등의 열린 NMT 연구 문제를 식별하는 것.
• 다국어, 다중 모달, 분산 학습 시스템과 같은 NMT의 새로운 연구 분야로 연구자들을 안내하는 것.

제안 방법

• 논문은 신경망을 사용하여 언어 모델, 번역 모델, 재정렬 모델 등의 SMT 구성 요소를 향상시키는 구성 요소별 딥러닝 접근법을 검토한다.
• 어텐션 메커니즘을 갖춘 인코더-디코더 아키텍처를 사용한 엔드 투 엔드 NMT를 분석하며, 모델이 원천 및 대상 시퀀스의 공동 표현을 학습한다.
• 어텐션 메커니즘이 원천 단어와 대상 단어 간의 정렬을 명시적인 정렬 모델링 없이도 가능하게 해 주는 핵심 혁신으로 강조된다.
• 논문은 SMT를 특징 가중치를 가진 판별적 학습 문제로 프레임워크화하기 위해 로그-선형 모델 형식(P(y|x;θ) ∝ exp(θ·ψ(x,y,z)))를 사용한다.
• 자료 희소성과 수작업 특징 공학 등의 SMT의 한계를 분석하고, 번역 및 언어 모델링의 공동 최적화를 통해 NMT를 해결책으로 제시한다.
• 경량 모델을 통한 저자원 환경 대응 및 대규모 신경망을 위한 분산 학습을 포함한 아키텍처 혁신 기반의 향후 방향을 제안한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 통계적 기계 번역의 구성 요소, 예를 들어 언어 모델링 및 어휘 재정렬과 같은 요소를 어떻게 향상시키는가?
• RQ2 엔드 투 엔드 신경 기반 기계 번역이 전통적인 SMT 시스템을 능가할 수 있도록 하는 아키텍처 혁신은 무엇인가?
• RQ3 현재 NMT 모델들이 왜 '블랙 박스'로 간주되는가, 그리고 언어학적으로 유용한 신경 아키텍처는 어떻게 모델의 해석 가능성을 향상시킬 수 있는가?
• RQ4 저자원 언어 쌍을 위한 NMT 모델 학습에서의 주요 과제는 무엇이며, 어떻게 희소한 자료를 효과적으로 활용할 수 있는가?
• RQ5 텍스트, 음성, 시각 등의 다중 모달 데이터는 어떻게 신경 기반 기계 번역에 통합되어 일반화 및 강건성을 향상시킬 수 있는가?

주요 결과

• 어텐션 메커니즘을 갖춘 인코더-디코더 아키텍처를 기반으로 한 엔드 투 엔드 NMT 모델은 뛰어난 성능 덕분에 학계와 산업계에서 SMT를 대체했다.
• 어텐션 메커니즘이 원천 단어와 대상 단어 간의 동적 정렬을 가능하게 하여 고정 정렬 모델 대비 번역 품질을 크게 향상시켰다.
• 성공에도 불구하고 NMT 모델은 자료에 매우 의존적이며 최적 성능을 내기 위해 수백만 개의 병렬 문장 쌍이 필요하여 저자원 환경에서의 활용을 제한한다.
• 현재 NMT 모델은 해석 가능성이 떨어져 기계적 지식을 연속적인 신경 표현에 통합하기 어렵다.
• NMT에서 순환 아키텍처는 본질적으로 순차적이며 쉽게 병렬화되지 않지만, 최근의 컨volutional 및 자기 어텐션 메커니즘의 발전 덕분에 더 나은 확장성을 확보할 수 있었다.
• 향후 연구는 저자원 번역을 위한 경량 모델, 다국어 시스템, 다중 모달 통합, 계산 비용을 줄이기 위한 분산 학습 프레임워크 개발을 중심으로 활발히 진행 중이다.