[논문 리뷰] Neural Machine Translation: Challenges, Progress and Future

Jiajun Zhang, Chengqing Zong|arXiv (Cornell University)|2020. 04. 13.

Natural Language Processing Techniques참고 문헌 168인용 수 10

한 줄 요약

이 초청 리뷰는 신경 기계 번역(NMT)의 통합적 개요를 제공하며, 프레임워크, 저자원 및 다중모odal 번역과 같은 핵심 과제, 그리고 다국어 및 준감독 NMT와 같은 최근 발전을 다룹니다. 이 리뷰는 최신 기술로 간주되는 트랜스포머 아키텍처를 강조하며, 설명 가능하고 강건하며 배경 지식을 고려한 NMT 모델과 같은 향후 연구 방향을 제시합니다.

ABSTRACT

Machine translation (MT) is a technique that leverages computers to translate human languages automatically. Nowadays, neural machine translation (NMT) which models direct mapping between source and target languages with deep neural networks has achieved a big breakthrough in translation performance and become the de facto paradigm of MT. This article makes a review of NMT framework, discusses the challenges in NMT, introduces some exciting recent progresses and finally looks forward to some potential future research trends. In addition, we maintain the state-of-the-art methods for various NMT tasks at the website https://github.com/ZNLP/SOTA-MT.

연구 동기 및 목표

• 규칙 기반 및 통계 기반 방법에서부터 신경 기계 번역(NMT)의 발전 과정과 현재 상태를 검토하기 위해.
• 저자원 번역, 다중모달 번역, 도메인 적응과 같은 NMT의 핵심 과제를 식별하고 분석하기 위해.
• 준감독, 다국어, 지식 통합 기반 NMT 프레임워크의 최근 기술적 진전을 조사하기 위해.
• 트랜스포머를 초월한 강건성, 설명 가능성, 아키텍처 혁신과 같은 열린 문제를 탐색하기 위해.
• 특히 배경 지식 통합 및 추론 일관성 향상을 위한 향후 NMT 연구 방향을 예측하기 위해.

제안 방법

• 원천 언어 시퀀스와 목표 언어 시퀀스 간의 직접적인 매핑을 모델링하기 위해 딥 네트워크를 활용한 인코더-디코더 프레임워크를 사용합니다.
• 현대 NMT 시스템에서 표준 토크나이제이션 방법으로 서브워드 토크나이제이션(예: SentencePiece)을 활용합니다.
• 시퀀스 내 장거리 의존성을 포착하기 위해 자기주의 주의(self-attention) 메커니즘에 기반한 트랜스포머 아키텍처를 적용합니다.
• 디코딩 중에 원천 및 목표 표현 간의 동적 정렬을 위해 어텐션 메커니즘을 통합합니다.
• 저자원 성능 향상을 위해 준감독 및 무감독 NMT에서 백트랜슬레이션과 지식 정복 기법을 활용합니다.
• 다양한 가시성 모듈 또는 어텐션 기반 주입을 통해 사전 지식(예: 이중어 어휘, 지식 그래프)을 NMT에 통합합니다.

실험 결과

연구 질문

• RQ1 높은 번역 품질을 유지하면서 노이즈 또는 악성 입력에 강건한 NMT 시스템은 어떻게 설계할 수 있을까요?
• RQ2 외부 지식(예: 이중어 어휘, 지식 그래프)을 엔드 투 엔드 NMT 모델에 효과적으로 통합하는 가장 좋은 방법은 무엇일까요?
• RQ3 영상, 음성 등의 다중모달 신호는 신경 기계 번역에서 어떻게 효과적으로 텍스트와 융합될 수 있을까요?
• RQ4 트랜스포머를 초월한 아키텍처 혁신은 NMT의 효율성, 정확도 또는 일반화 능력을 향상시키는 데 어떻게 기여할 수 있을까요?
• RQ5 특히 알려지지 않은 또는 도메인 외부 데이터에 대해 레이블이 없는 도메인 데이터가 없이 도메인 적응은 어떻게 달성될 수 있을까요?

주요 결과

• NMT는 트랜스포머 아키텍처의 도입으로 번역 품질에서 중대한 돌파구를 이뤘으며, 일부 언어 조합에서는 인간 수준의 성능에 가까워졌습니다.
• 저자원 NMT는 여전히 도전 과제이며, 무감독 모델이 거리가 먼 언어 조합에서 10 BLEU 이하의 성능을 기록함으로써 향상 여지가 크다는 점이 드러났습니다.
• 음성 번역 및 이미지 캡션 번역과 같은 다중모달 NMT는 특히 훈련 데이터가 제한된 경우 계단식 시스템에 비해 성능이 뒤처지고 있습니다.
• 백트랜슬레이션을 활용한 준감독 NMT는 효과적이지만 계산 비용이 높아, 더 효율적인 훈련 전략이 필요함을 시사합니다.
• 현재 NMT 모델은 입력의 변형에 매우 민감하며 해석 가능성도 부족하여 설명 가능하고 강건한 아키텍처의 필요성이 강조됩니다.
• 진전이 있었음에도 불구하고, 특히 순차적 생성에서 발생하는 훈련과 추론 간 격차는 중요한 문제이며, 출력의 일관성과 품질에 악영향을 미칩니다.