[논문 리뷰] Triangular Architecture for Rare Language Translation

Shuo Ren, Wenhu Chen외 4명|arXiv (Cornell University)|2018. 05. 13.

Natural Language Processing Techniques참고 문헌 24인용 수 16

한 줄 요약

이 논문은 희귀 언어 쌍(X,Z)에 대한 저자원 신경 기계 번역(NMT)을 향상시키기 위해 풍부한 중간 언어 Y를 활용하는 삼각형 아키텍처(TA-NMT)를 제안한다. 이는 (X,Y)와 (Y,Z)에서 번역 모델을 동시에 훈련시키며 통합된 양방향 EM 알고리즘을 사용한다. 이 방법은 MultiUN과 IWSLT2012에서 번역 품질을 크게 향상시키며, 특히 역번역과 결합했을 때 저자원 환경에서 뚜렷한 성능 향상을 보여준다.

ABSTRACT

Neural Machine Translation (NMT) performs poor on the low-resource language pair $(X,Z)$, especially when $Z$ is a rare language. By introducing another rich language $Y$, we propose a novel triangular training architecture (TA-NMT) to leverage bilingual data $(Y,Z)$ (may be small) and $(X,Y)$ (can be rich) to improve the translation performance of low-resource pairs. In this triangular architecture, $Z$ is taken as the intermediate latent variable, and translation models of $Z$ are jointly optimized with a unified bidirectional EM algorithm under the goal of maximizing the translation likelihood of $(X,Y)$. Empirical results demonstrate that our method significantly improves the translation quality of rare languages on MultiUN and IWSLT2012 datasets, and achieves even better performance combining back-translation methods.

연구 동기 및 목표

• 저자원 언어 쌍, 특히 목표 언어 Z가 희귀한 경우에 성능이 열악한 신경 기계 번역(NMT)의 문제를 해결하기 위해.
• 풍부한 자원을 가진 쌍(X,Y)과 저자원 쌍(Y,Z)의 双어 데이터를 활용하여 저자원 쌍(X,Z)의 번역 품질을 향상시키기 위해.
• EM 기반 접근 방식을 사용하여 다중 번역 모델을 동시에 최적화하는 통합 훈련 프레임워크를 개발하기 위해.
• 가짜 데이터 생성과 유사한 보상 신호를 통해 번역 모델 간 상호 개선을 가능하게 하기 위해.

제안 방법

• 소스 X, 목표 Z, 그리고 Y를 연결하는 삼각형 아키텍처를 구축하기 위해 풍부한 중간 언어 Y를 도입하여 데이터 수준 및 모델 수준의 지식 전이를 가능하게 하기 위해.
• X에서 Y로의 번역을 잠재 변수 Z를 통해 모델링하며, X→Y를 두 단계(X→Z 및 Z→Y)로 분해하고, 이들을 동시에 훈련한다.
• 네 개의 번역 모델 p(z|x), p(x|z), p(z|y), p(y|z)를 최적화하기 위해 통합된 양방향 EM 알고리즘을 사용하여 상호 보완적 개선을 가능하게 한다.
• E단계에서는 현재 모델 파rameter를 사용하여 가짜 双어 데이터를 생성하고, 로그우도 항목을 기반으로 시간 단계 보상 신호를 할당하여 강화 학습 업데이트를 모방한다.
• 역번역을 통해 단어 단위의 독립된 데이터를 활용하여 성능 향상을 추가로 향상시키는 보완 기법으로 활용한다.
• 양방향으로 EM 프레임워크를 적용하여 X→Y는 Z를 통해, Y→X 역시 Z를 통해 진행함으로써 대칭적인 모델 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 풍부한 중간 언어 Y를 도입함으로써 저자원 언어 쌍(X,Z)의 번역 성능을 향상시킬 수 있는가?
• RQ2 (X,Y)와 (Y,Z)에서의 双어 데이터를 어떻게 함께 활용하여 (X,Z) 번역 모델의 성능을 향상시킬 수 있는가?
• RQ3 통합된 양방향 EM 프레임워크가 다중 번역 모델을 효과적으로 최적화하고 상호 개선을 가능하게 할 수 있는가?
• RQ4 제안된 방법이 역번역 및 지식 전이와 같은 기존 저자원 NMT 기법보다 우수한 성능을 내는가?
• RQ5 역번역과 같은 단어 단위의 독립 데이터 증강 기법과 조합함으로써 방법의 성능을 추가로 향상시킬 수 있는가?

주요 결과

• TA-NMT 방법은 희귀 언어 쌍에 대해 MultiUN과 IWSLT2012 데이터셋에서 번역 품질 향상이 뚜렷하게 이루어졌다.
• IWSLT2012 영어- hebrew 번역 작업에서, 이 방법은 기준 RNNSearch, 지식 전이, 역번역 방법보다 우수한 성능을 보였다.
• 양방향 EM 프레임워크를 통한 공동 최적화로 (X,Z) 및 (Y,Z) 번역 모델 간 상호 개선이 가능해졌다.
• 역번역과 조합했을 때 TA-NMT는 더욱 높은 성능 향상을 보였으며, 독립 데이터 증강과의 호환성과 상호 보완성을 입증했다.
• E단계의 시간 단계 보상 메커니즘이 효과적으로 모델 업데이트를 이끌었으며, 높은 보상 출력은 강화되고 저품질 출력은 처벌되었다.
• (Y,Z)에 대한 이중 데이터가 제한되어 있어도 이 방법은 저자원 환경에서 뛰어난 강건성을 보이며 효과적임을 입증했다.