[논문 리뷰] Generative Neural Machine Translation

Harshil Shah, David Barber|arXiv (Cornell University)|2018. 06. 13.

Natural Language Processing Techniques참고 문헌 16인용 수 22

한 줄 요약

이 논문은 잠재 변수 모델인 생성형 신경 기계 번역(GNMT)을 소개한다. 이 모델은 언어에 관계없이 의미를 표현하는 공통의 잠재 표현(z)을 통해 원천 문장과 목표 문장을 동시에 모델링하여 번역의 강건성을 향상시키며, 특히 단어가 누락된 경우에도 성능을 유지하고, 파rameter 수를 늘리지 않고 다국어 및 준지도 학습을 가능하게 한다. GNMT는 예측할 수 없는 언어 쌍에서 최고의 BLEU 점수를 기록했으며, 긴 문장 번역 및 완전하지 않은 입력 번역 과제에서 베이스라인을 능가한다.

ABSTRACT

We introduce Generative Neural Machine Translation (GNMT), a latent variable architecture which is designed to model the semantics of the source and target sentences. We modify an encoder-decoder translation model by adding a latent variable as a language agnostic representation which is encouraged to learn the meaning of the sentence. GNMT achieves competitive BLEU scores on pure translation tasks, and is superior when there are missing words in the source sentence. We augment the model to facilitate multilingual translation and semi-supervised learning without adding parameters. This framework significantly reduces overfitting when there is limited paired data available, and is effective for translating between pairs of languages not seen during training.

연구 동기 및 목표

• 문장 의미의 분리된, 언어에 관계없는 의미 표현을 명시적으로 학습하는 신경 기계 번역 모델을 개발하는 것.
• 원천 문장에 단어가 누락된 경우에도 잠재 의미 표현을 활용하여 번역의 강건성을 향상시키는 것.
• 모델 파rameter 수를 늘리지 않고도 단일 언어 데이터를 활용하여 다국어 번역 및 준지도 학습을 가능하게 하는 것.
• 범주형 언어 지표를 통해 언어 간 파rameter 공유를 통해 자원이 적은 환경에서 과적합을 줄이는 것.
• 공통 잠재 변수를 통해 원천 및 목표 문장의 공동 분포를 모델링할 경우 조건부 모델보다 더 나은 의미 일반화가 이루어지는지 평가하는 것.

제안 방법

• GNMT는 공통 잠재 변수 $ \mathbf{z} $를 통해 원천 문장 $ \mathbf{x} $와 목표 문장 $ \mathbf{y} $의 공동 확률을 모델링한다: $ p_{\theta}(\mathbf{x}, \mathbf{y}, \mathbf{z}) = p(\mathbf{z}) p_{\theta}(\mathbf{x}|\mathbf{z}) p_{\theta}(\mathbf{y}|\mathbf{x}, \mathbf{z}) $, 여기서 $ \mathbf{z} $는 평균이 0이고 공분산이 항등행렬인 가우시안 사전분포 $ \mathcal{N}(\mathbf{0}, \mathbf{I}) $를 갖는다.
• 원천 문장 $ \mathbf{x} $는 이전 단어와 $ \mathbf{z} $에 조건부로 작동하는 LSTM을 통해 자동으로 생성되며, 은닉 상태는 $ \mathbf{h}^{x}_{t} = \mathrm{LSTM}(\mathbf{h}^{x}_{t-1}, \mathbf{z}, \mathbf{e}(x_{t-1})) $로 계산된다.
• 목표 문장 $ \mathbf{y} $는 원천 문장 $ \mathbf{x} $의 양방향 인코더 상태에 주목하는 어텐션을 통합한 LSTM 디코더를 사용하여 생성되며, 어텐션은 인코더 상태에 대한 소프트 어텐션으로 계산된 컨텍스트 벡터를 활용한다.
• 다국어 번역을 가능하게 하기 위해 원천 및 목표 언어를 나타내는 두 개의 범주형 변수를 추가하여 언어 쌍 간에 파rameter 공유를 가능하게 한다.
• 준지도 학습을 위해 단일 언어 데이터를 사용하며, 원천 언어와 목표 언어를 동일한 값으로 설정함으로써 훈련 중에 쌍이 없는 단일 언어 문장을 활용할 수 있도록 한다.
• 훈련은 확률적 변분 추론을 통해 수행되며, 공동 분포의 로그우도에 대한 변분 하한을 최대화한다.

실험 결과

연구 질문

• RQ1 공통의 언어에 관계없는 잠재 변수 $ \mathbf{z} $가 다국어 간 문장 의미를 효과적으로 표현할 수 있는가?
• RQ2 공동 분포 $ p(\mathbf{x}, \mathbf{y}) $를 $ \mathbf{z} $를 통해 모델링할 경우 조건부 모델링 $ p(\mathbf{y}|\mathbf{x}) $보다 더 나은 일반화 성능을 보일 수 있는가, 특히 자원이 부족한 상황에서?
• RQ3 원천 문장이 불완전하거나 일부 단어가 누락된 경우 잠재 표현 $ \mathbf{z} $가 번역의 강건성을 향상시킬 수 있는가?
• RQ4 범주형 언어 지표를 통한 언어 간 파arameter 공유가 과적합을 줄이고 예측 불가능한 언어 쌍에 대한 제로샷 번역 성능을 향상시키는가?
• RQ5 단일 언어 데이터를 준지도 학습 방식으로 효과적으로 활용하여 자원이 적은 번역 과제의 성능을 추가로 향상시킬 수 있는가?

주요 결과

• GNMT는 WMT'14 영어-독일어 번역 과제에서 BLEU 점수 33.23을 기록했으며, 베이스라인 VNMT 모델(26.99 BLEU)을 능가했고, 긴 문장 번역에서도 뛰어난 성능을 보였다.
• 원천 문장에 단어가 누락된 경우 GNMT는 VNMT보다 훨씬 더 정확한 번역을 생성했으며, 질적 예시에서 GNMT가 누락된 내용을 정확히 추론하는 것으로 확인되었다.
• 언어 간 파arameter 공유를 통해 다국어 번역을 수행하는 GNMT-Multi는 예측 불가능한 영어-스페인어 번역에서 BLEU 점수 36.72를 기록했으며, VNMT(35.58)와 표준 GNMT(35.35)를 모두 능가했다.
• 단일 언어 데이터를 활용하는 GNMT-Multi-SSL은 예측 불가능한 영어-스페인어 번역에서 BLEU 점수 38.80을 기록했으며, 다른 모든 모델을 크게 능가했고, 준지도 학습의 효과성을 입증했다.
• 아브레이션 연구 결과, 모델은 잠재 변수 $ \mathbf{z} $에 크게 의존함을 확인했으며, $ \mathbf{z} $를 제거할 경우 성능이 급격히 떨어졌고, 이는 $ \mathbf{z} $가 의미 표현에서 중심적인 역할을 한다는 것을 확인한다.
• 다른 인수 분해 방식인 $ p(\mathbf{x}, \mathbf{y}, \mathbf{z}) = p(\mathbf{z}) p_{\theta}(\mathbf{x}|\mathbf{z}) p_{\theta}(\mathbf{y}|\mathbf{z}) $는 문법적으로 타당하지 않은 번역을 생성하는 것으로 나타났으며, 이는 $ \mathbf{y} $를 $ \mathbf{x} $에 조건부로 설정하는 것이 문장의 통일성 유지를 위해 필수적임을 시사한다.