[논문 리뷰] Context Gates for Neural Machine Translation

Zhaopeng Tu, Yang Liu외 3명|arXiv (Cornell University)|2016. 08. 22.

Natural Language Processing Techniques참고 문헌 19인용 수 15

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 디코딩 중 소스 및 타겟 문맥의 영향을 동적으로 균형 조절하기 위해 컨텍스트 게이트를 제안한다. 이는 어휘 적합성 번역 성능을 향상시키되 어법적 유창성은 유지하면서 이루어진다. 각 디코딩 단계에서 소스 및 타겟 문맥 기여도를 가중치로 학습함으로써, 표준 어텐션 기반 NMT 대비 +2.3 BLEU 점수 향상을 달성하였으며, 특히 장문 문장에서 더 높은 성능 향상을 보였고, 어휘어와 기능어를 다룰 때의 강건성 또한 향상되었다.

ABSTRACT

In neural machine translation (NMT), generation of a target word depends on both source and target contexts. We find that source contexts have a direct impact on the adequacy of a translation while target contexts affect the fluency. Intuitively, generation of a content word should rely more on the source context and generation of a functional word should rely more on the target context. Due to the lack of effective control over the influence from source and target contexts, conventional NMT tends to yield fluent but inadequate translations. To address this problem, we propose context gates which dynamically control the ratios at which source and target contexts contribute to the generation of target words. In this way, we can enhance both the adequacy and fluency of NMT with more careful control of the information flow from contexts. Experiments show that our approach significantly improves upon a standard attention-based NMT system by +2.3 BLEU points.

연구 동기 및 목표

• 타겟 문맥에 과도하게 의존하여 어법은 유창하지만 어휘 적합성이 떨어지는 번역을 유발하는 문제를 해결하기 위해.
• 소스 및 타겟 문맥이 번역의 어휘 적합성과 유창성에 각기 다른 역할을 하는지 조사하기 위해.
• 어휘어와 기능어 유형에 따라 문맥 기여도를 동적으로 제어할 수 있는 메커니즘을 설계하기 위해.
• 학습 가능한 컨텍스트 게이팅을 통해 어휘 적합성과 유창성의 균형을 높임으로써 번역 품질을 향상시키기 위해.
• 컨텍스트 게이트가 GRU를 더 단순한 RNN으로 대체할 수 있으며 성능을 유지하면서 추론 속도를 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 각 디코딩 단계에서 소스 및 타겟 문맥의 기여도를 제어하기 위해 0에서 1 사이의 비율을 출력하는 미분 가능하고 비선형적인 게이팅 유닛인 컨텍스트 게이트를 도입한다.
• 소스 문맥 $ \boldsymbol{h}_s $ 와 타겟 문맥 $ \boldsymbol{h}_t $ 를 입력으로 받아 컨텍스트 게이트 출력 $ z_t $ 를 계산한다.
• 게이트 출력 $ z_t $ 를 사용해 소스 및 타겟 문맥 표현 간의 선형 보간을 수행한다: $ \boldsymbol{h}_t^{\text{gate}} = z_t \boldsymbol{h}_s + (1 - z_t) \boldsymbol{h}_t $.
• 게이팅된 문맥 표현을 디코더 RNN(GRU 또는 RNN)에 통합하여 다음 타겟 단어를 생성한다.
• 게이트 파ram터가 데이터로부터 학습되도록 표준 NMT 목표함수를 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 디코더에서 GRU 유닛을 간단한 RNN으로 대체하면서 컨텍스트 게이트를 사용함으로써 모델 파라미터를 절반으로 줄이고 디코딩 중 행렬 연산 비용도 50% 감소시킨다.

실험 결과

연구 질문

• RQ1 소스 및 타겟 문맥의 상대적 영향력이 각각 번역의 어휘 적합성과 유창성과 관련이 있는가?
• RQ2 소스 및 타겟 문맥 간의 균형을 동적으로 제어함으로써 NMT의 번역 품질을 향상시킬 수 있는가?
• RQ3 장문 또는 복잡한 문장에서 소스 문맥의 영향력을 증가시키는 것이 더 큰 이점을 가져오는가?
• RQ4 성능을 유지하면서 컨텍스트 게이트를 사용해 GRU를 간단한 RNN으로 대체할 수 있는가? 그리고 추론 속도가 향상되는가?
• RQ5 컨텍스트 게이트 출력은 어휘 적합성과 유창성과 관련이 있는가, 특히 장문 문장에서의 번역 품질과의 상관관계는 어떻게 되는가?

주요 결과

• 컨텍스트 게이트는 표준 어텐션 기반 NMT 시스템 대비 +2.3 BLEU 점수 향상을 달성한다.
• 특히 장문 문장(≥30 토큰)에서 어휘 적합성이 크게 향상되며, 기준 모델에서 관찰되는 성능 저하 현상이 완화된다.
• 컨텍스트 게이트 가중치 $ z_t $ 는 번역 향상과 정확히 상관관계가 있으며, 길이 ≥30인 문장에서 상관계수는 0.076이다.
• 컨텍스트 게이트 덕분에 GRU 유닛을 더 단순한 RNN으로 대체할 수 있어 모델 파라미터를 절반으로 줄이고 디코딩 중 행렬 연산 비용도 50% 감소시킬 수 있다.
• qualitative 예시를 통해 어휘 적합성 향상과 함께 높은 유창성을 유지함을 확인할 수 있었으며, 과잉 번역 및 부족 번역 오류가 감소하였다.
• 게이트 가중치와 번역 품질 간의 상관관계는 장문 문장에서 더 높으며, 이는 복잡하거나 긴 소스 입력에서 소스 문맥이 더 중요하다는 것을 시사한다.