[논문 리뷰] Dynamic Past and Future for Neural Machine Translation

Zaixiang Zheng, Shujian Huang외 3명|arXiv (Cornell University)|2019. 04. 21.

Topic Modeling참고 문헌 44인용 수 9

한 줄 요약

이 논문은 신경 기계 번역 디코딩 중 소스 단어를 번역된(Past) 및 번역되지 않은(Future) 그룹으로 명시적으로 분리하는 새로운 캡슐 기반 메커니즘인 가이드드 디나믹 라우팅(Guided Dynamic Routing, GDR)을 제안한다. 현재 디코딩 상태에 의해 가이드되는 라우팅-약속(variant)을 사용함으로써 GDR는 해석 가능한 동적 컨텍스트 모델링을 가능하게 하여 번역의 적합성 향상을 이끌고, 다양한 언어 쌍에서 트랜스포머와 R-NMT를 모두 초월하는 일관된 성능 향상을 달성한다.

ABSTRACT

Previous studies have shown that neural machine translation (NMT) models can benefit from explicitly modeling translated (Past) and untranslated (Future) to groups of translated and untranslated contents through parts-to-wholes assignment. The assignment is learned through a novel variant of routing-by-agreement mechanism (Sabour et al., 2017), namely {\em Guided Dynamic Routing}, where the translating status at each decoding step {\em guides} the routing process to assign each source word to its associated group (i.e., translated or untranslated content) represented by a capsule, enabling translation to be made from holistic context. Experiments show that our approach achieves substantial improvements over both RNMT and Transformer by producing more adequate translations. Extensive analysis demonstrates that our method is highly interpretable, which is able to recognize the translated and untranslated contents as expected.

연구 동기 및 목표

• 신경 기계 번역(NMT)에서 번역 부족 문제, 특히 과도 번역과 부족 번역 문제를 해결하기 위해 번역된 소스 콘텐츠와 번역되지 않은 소스 콘텐츠의 동적 상태를 명시적으로 모델링하기 위해.
• 기본적으로 과거 및 미래 콘텐츠를 표현하는 순환 상태 표현 방식의 한계를 극복하기 위해, 이는 해석 불가능하고 트랜스포머와 같은 병렬 디코더와 호환되지 않는다.
• 디코딩 상태에 의해 가이드되는 부분-전체 할당 메커니즘을 통해 소스 단어를 과거 및 미래 그룹으로 해석 가능한 동적 분리가 가능하도록 하기 위해.
• 디코딩 상태에 따라 소스 단어 표현을 과거 또는 미래 콘텐츠를 나타내는 캡슐에 할당하는 라우팅 메커니즘을 개발하여, 이는 동시에 해석 가능하고 효과적인 방식이 되도록 하기 위해.
• 디코더가 시간에 따라 변화하는 전체 소스 컨텍스트 시각을 제공함으로써 번역 품질을 향상시키고, 적합성과 유창성을 향상시키기 위해.

제안 방법

• 과거 및 미래 소스 콘텐츠를 각각 번역된 및 번역되지 않은 소스 세그먼트의 통합 표현을 나타내는 두 그룹의 캡슐로 모델링한다.
• 새로운 라우팅 메커니즘인 가이드드 디나믹 라우팅(Guided Dynamic Routing, GDR)을 제안하며, 라우팅 결정은 현재 생성 중인 타겟 단어에 의해 유도되어 각 소스 단어를 과거 또는 미래 캡슐에 할당한다.
• GDR는 주어진 디코딩 상태가 소스 단어의 캡슐 할당 확률에 영향을 주는 주목적 유사 라우팅 가중치를 사용하는 반복적 라우팅-약속을 사용한다.
• 최종 엔드 투 엔드 학습 외에도 소스 단어가 과거 또는 미래 그룹에 정확히 할당되도록 명시적으로 장려하는 보조 학습 신호를 사용하여 라우팅 과정을 최적화한다.
• 과거 및 미래 캡슐 상태는 각 디코딩 단계에서 동적으로 업데이트되며, 번역의 적합성을 향상시키기 위해 디코더에서 컨텍스트로 사용된다.
• 모델은 R-NMT 및 트랜스포머 아키텍처에 통합되어 병렬 디코딩과 호환되면서도 컨텍스트 인식 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 소스 단어를 과거 및 미래 그룹으로 명시적으로 분리하면 신경 기계 번역 품질 향상에 기여하는가?
• RQ2 디코딩 상태에 의해 가이드되는 캡슐 기반 라우팅 메커니즘이 번역된 및 번역되지 않은 콘텐츠를 더 해석 가능하고 정확하게 추적할 수 있는가?
• RQ3 제안된 가이드드 디나믹 라우팅 메커니즘이 과거/미래 모델링을 위한 순환 상태 기반 방법보다 번역의 적합성과 해석 가능성 측면에서 우월한가?
• RQ4 이 모델은 특히 장문의 번역에서 번역 부족 문제를 어느 정도 완화하는가?
• RQ5 이 모델은 다양한 언어 쌍에서 효과적이며 최신 트랜스포머 아키텍처와 호환되는가?

주요 결과

• 제안된 모델은 중국어-영어, 영어-독일어, 영어-루마니아어 번역 작업에서 R-NMT 및 트랜스포머 모두에 비해 상당하고 일관된 성능 향상을 달성한다.
• 인간 평가를 통해 모델이 과도 번역과 부족 번역이 줄어든 더 적합하고 고급 번역을 생성함을 확인하였다.
• 길이 분석 결과, 모델이 더 긴 번역을 생성함을 확인하여 소스 콘텐츠의 보다 우수한 커버리지가 이루어졌음을 시사한다.
• 시각화 결과, 모델이 의도한 바와 같이 소스 단어를 과거 및 미래 그룹으로 성공적으로 분리하는 것을 확인하였으며, 이는 모델의 해석 가능성 확인에 기여한다.
• 보조 학습 신호가 과거/미래 할당 정확도를 크게 향상시켜, 엔드 투 엔드 학습만으로는 달성할 수 없는 성능 향상을 이끌었다.
• 모델는 트랜스포머 디코더와 호환성을 유지하여 병렬 추론을 가능하게 하면서도 동적 컨텍스트 인식 능력을 통합하였다.