[논문 리뷰] Fusing Recency into Neural Machine Translation with an Inter-Sentence Gate Model

Shaohui Kuang, Deyi Xiong|arXiv (Cornell University)|2018. 06. 12.

Natural Language Processing Techniques참고 문헌 25인용 수 17

한 줄 요약

이 논문은 공유 인코더와 학습 가능한 게이트 메커니즘을 사용하여 이전 문장의 문맥 정보를 융합함으로써 신경 기계 번역을 향상시키는 문장 간 게이트 모델을 제안한다. 이 모델은 번역의 일관성과 통일성을 향상시키며, 전체 문서 학습이 필요 없이도 NIST 중국어-영어 벤치마크에서 최대 2.0 BLEU 포인트 향상을 달성한다.

ABSTRACT

Neural machine translation (NMT) systems are usually trained on a large amount of bilingual sentence pairs and translate one sentence at a time, ignoring inter-sentence information. This may make the translation of a sentence ambiguous or even inconsistent with the translations of neighboring sentences. In order to handle this issue, we propose an inter-sentence gate model that uses the same encoder to encode two adjacent sentences and controls the amount of information flowing from the preceding sentence to the translation of the current sentence with an inter-sentence gate. In this way, our proposed model can capture the connection between sentences and fuse recency from neighboring sentences into neural machine translation. On several NIST Chinese-English translation tasks, our experiments demonstrate that the proposed inter-sentence gate model achieves substantial improvements over the baseline.

연구 동기 및 목표

• 표준 NMT 시스템에서 문장 간 의존성 모델링의 부족을 해결하기 위해, 문장을 독립적으로 처리하는 방식을 개선한다.
• 문장 간 통일성과 어휘 융합을 포착함으로써 문서 수준의 번역 품질을 향상시키는 것을 목표로 한다.
• 전체 문서 감독 없이도 이전 문장의 문맥을 현재 문장 번역에 통합할 수 있는 경량이며 학습 가능한 메커니즘을 개발한다.
• 추가 파rameter를 최소화하면서도 문장 간 의미 일관성을 유지한다.
• 원천 측 문장 간 정보만으로도 번역의 통일성과 정확도를 크게 향상시킬 수 있음을 입증한다.

제안 방법

• 두 개의 인접한 문장을 동시에 처리하기 위해 공유된 양방향 RNN 인코더를 사용하여 이전 문장(a)과 현재 문장(b)의 문맥 벡터를 생성한다.
• 문장 간 게이트 메커니즘을 적용하여 이전 문장(a)에서 현재 문장(b)으로의 정보 흐름을 동적으로 제어하고 융합된 문맥 벡터를 생성한다.
• 학습된 게이트 함수를 사용하여 a와 b의 가중 조합을 계산함으로써 관련된 문장 간 의존성에만 집중할 수 있도록 한다.
• 융합된 문맥 벡터를 디코더의 은닉 상태 업데이트에 사용하여 문맥 인식 기반 디코딩을 가능하게 한다.
• 각 문장이 서로 다른 쌍에서 이전 문장과 현재 문장로 기능하도록 문장 쌍으로 학습함으로써 데이터 효율성을 극대화한다.
• 일반어 코퍼스에서 학습된 Word2Vec 임베딩(400D)을 사용하여 통일성 분석을 위한 문장 수준의 의미 유사도를 계산한다.

실험 결과

연구 질문

• RQ1 문장 간 의존성 모델링이 신경 기계 번역에서 번역 품질을 향상시킬 수 있는가?
• RQ2 학습 가능한 게이트 메커니즘이 이전 문장의 문맥을 현재 문장 번역에 얼마나 효과적으로 융합할 수 있는가?
• RQ3 제안된 모델이 인접한 문장 간 어휘 융합과 의미 일관성을 향상시키는가?
• RQ4 기존 NMT 기반 모델 대비 모델이 번역의 통일성에서 얼마나 향상되었는가?
• RQ5 전체 문서 학습 데이터가 필요 없이도 경량의 원천 측 전용 메커니즘이 상당한 성능 향상을 이룰 수 있는가?

주요 결과

• 제안된 문장 간 게이트 모델은 NMT 기반 모델 대비 일관되고 뚜렷한 향상을 보이며, NIST 중국어-영어 번역 과제에서 최대 2.0 BLEU 포인트 향상을 달성한다.
• 문장 수준의 통일성이 향상되었음을 확인할 수 있었으며, 인접한 문장 표현 간 평균 코사인 유사도가 높아졌다(예: NIST05에서 0.4816 대비 0.4677).
• 추론 예시에서 모델은 이전 문장의 문맥을 활용하여 모호한 번역을 해결한다. 예를 들어 정치적 주제일 경우 '动作'을 'action'으로 올바르게 번역한다.
• 유사어나 관련어(예: '驻韩'과 '驻南韩')에 대해 일관된 번역을 생성하여 기반 모델에서 관찰된 일관성 부족 문제를 해결한다.
• 인간 기준 번역 유사도 점수는 기반 모델보다 높으며, 모델의 성능은 통일성 메트릭에서 인간 기준 수준에 가까워진다.
• 명시적인 논리적 또는 주제 모델링 구성 요소 없이도, 의미 통일성 관점에서 효과적으로 문장 간 관계를 모델링한다.