[논문 리뷰] Exploiting Cross-Sentence Context for Neural Machine Translation

Longyue Wang, Zhaopeng Tu외 2명|arXiv (Cornell University)|2017. 04. 14.

Natural Language Processing Techniques참고 문헌 18인용 수 30

한 줄 요약

이 논문은 계층적 RNN을 사용하여 이전 소스 문장을 종합하여 글로벌 컨텍스트 표현을 생성하고, 이를 NMT에 초기화 또는 보조 컨텍스트 기반으로 통합함으로써 문장 간 컨텍스트를 고려하는 신경 기계 번역 모델을 제안한다. 이 방법은 대규모 중국어-영어 번역 작업에서 번역 품질을 최대 +2.1 BLEU 포인트 향상시키며, 모호성과 일관성 없는 오류를 크게 감소시킨다.

ABSTRACT

In translation, considering the document as a whole can help to resolve ambiguities and inconsistencies. In this paper, we propose a cross-sentence context-aware approach and investigate the influence of historical contextual information on the performance of neural machine translation (NMT). First, this history is summarized in a hierarchical way. We then integrate the historical representation into NMT in two strategies: 1) a warm-start of encoder and decoder states, and 2) an auxiliary context source for updating decoder states. Experimental results on a large Chinese-English translation task show that our approach significantly improves upon a strong attention-based NMT system by up to +2.1 BLEU points.

연구 동기 및 목표

• 단일 문장이 아닌 문서 수준의 컨텍스트를 활용하여 신경 기계 번역에서의 모호성과 일관성 문제를 해결한다.
• 이전 소스 측 컨텍스트가 순차적-순차적 NMT 모델의 번역 품질을 향상시키는지 조사한다.
• 기본 어텐션 기반 NMT 아키텍처에 수정 없이도 교차 문장 컨텍스트를 통합할 수 있는 유연한 프레임워크를 개발한다.
• 초기화 전략(에코더/디코더 상태 온전한 초기화)과 보조 컨텍스트 기반 통합 전략(가중치 제어 유무 포함)의 효과를 평가한다.
• 글로벌 컨텍스트가 어휘 일관성 유지 및 어휘 의미 해석을 보다 정확히 하는 데 기여함을 입증한다.

제안 방법

• 계층적 RNN 아키텍처를 사용: 문장 수준의 RNN이 각 이전 소스 문장을 처리하고, 문서 수준의 RNN이 문장 표현의 시퀀스를 종합하여 글로벌 컨텍스트 벡터 D로 요약한다.
• 글로벌 컨텍스트 벡터 D를 에코더, 디코더 또는 양쪽 모두의 초기화에 사용하여 표준적인 0 초기화를 대체함으로써 이전 문서 컨텍스트를 반영한 온전한 초기화를 제공한다.
• 보조 컨텍스트 기반 메커니즘을 도입하여, 복호화 중 표준 문장 내 컨텍스트 벡터 ci와 함께 D를 함께 사용한다.
• 각 복호화 단계에서 글로벌 컨텍스트 벡터의 기여도를 동적으로 제어하는 학습된 시그모이드 게이트를 사용하는 컨텍스트 게이트 메커니즘을 구현한다.
• 핵심 어텐션 기반 에코더-디코더 프레임워크를 수정하지 않고도 표준 NMT 목적함수와 함께 공동으로 학습하여 교차 문장 컨텍스트를 통합한다.
• 글로벌 컨텍스트와 문장 내 컨텍스트를 별도의 파라미터 행렬로 처리하여 두 유형의 컨텍스트 간 간섭을 방지하고 독립적인 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 교차 문장 컨텍스트를 모델링함으로써 신경 기계 번역의 성능 향상이 실제로 유의미하게 가능할 수 있는가?
• RQ2 온전한 초기화 전략(에코더/디코더 상태 온전한 초기화)과 보조 컨텍스트 기반 통합 중 어느 것이 더 큰 성능 향상을 이끌어내는가?
• RQ3 컨텍스트 게이트를 포함함으로써 모델이 복호화 과정에서 글로벌 컨텍스트를 선택적으로 활용할 수 있는 능력이 향상되는가?
• RQ4 교차 문장 컨텍스트는 번역 출력의 모호성과 일관성 문제를 어느 정도 감소시키는가?
• RQ5 K > 1개의 이전 문장을 컨텍스트로 사용할 경우 모델의 성능은 어떻게 되는가?

주요 결과

• 제안된 모델은 대규모 중국어-영어 번역 작업에서 강력한 기반 어텐션 기반 NMT 시스템 대비 최대 +2.1 BLEU 포인트의 성능 향상을 달성한다.
• 컨텍스트 게이트를 포함한 보조 컨텍스트 기반 메커니즘이 가장 높은 성능 향상을 기록하여, 글로벌 컨텍스트 통합에 대한 동적 제어의 가치를 입증한다.
• 온전한 초기화 전략만으로도 성능 향상이 이루어지며, 문서 수준의 컨텍스트로 초기화함으로써 의미 있는 유도적 편향이 제공됨을 보여준다.
• 수동 오류 분석 결과, 모델은 모호성 관련 오류의 76%와 일관성 관련 오류(예: 어휘, 어간, 정관사)의 75%를 성공적으로 수정한다.
• 어휘 의미 해석의 모호성 감소 효과가 확인되었으며, 예를 들어 이전 문장에 "贪官"(부패한 관리)가 있을 경우 "腐官"를 "corrupt officials"로 정확히 번역하는 데 기여한다.
• 성능 향상에도 불구하고 약 21%의 새로운 오류가 발생하여, 오래된 오류를 해결하는 것과 새로운 오류를 생성하는 것 사이의 상충 관계가 있음을 시사한다.