[논문 리뷰] Encoding Source Language with Convolutional Neural Network for Machine Translation

Fandong Meng, Zhengdong Lu외 4명|arXiv (Cornell University)|2015. 03. 06.

Natural Language Processing Techniques참고 문헌 27인용 수 52

한 줄 요약

이 논문은 신경 기계 번역을 위한 동적 소스 언어 정보 인코딩을 위해 새로운 컨볼루션 신경망(CNN) 기반 방법을 제안한다. 목표 언어 측 신호를 사용하여 주목사의 소스 단어에 초점을 맞추는 주목을 유도한다. 공동 언어 모델에 게이트형 컨볼루션 인코더—tag CNN 및 in CNN—를 통합함으로써, 기준 모델 대비 +2.0 BLEU 점수, 이전 최고 성능(SOTA) 모델 대비 +1.08 BLEU 점수의 향상을 달성하였다. NIST 중국어-영어 번역 작업에서 성과를 냈다.

ABSTRACT

The recently proposed neural network joint model (NNJM) (Devlin et al., 2014) augments the n-gram target language model with a heuristically chosen source context window, achieving state-of-the-art performance in SMT. In this paper, we give a more systematic treatment by summarizing the relevant source information through a convolutional architecture guided by the target information. With different guiding signals during decoding, our specifically designed convolution+gating architectures can pinpoint the parts of a source sentence that are relevant to predicting a target word, and fuse them with the context of entire source sentence to form a unified representation. This representation, together with target language words, are fed to a deep neural network (DNN) to form a stronger NNJM. Experiments on two NIST Chinese-English translation tasks show that the proposed model can achieve significant improvements over the previous NNJM by up to +1.08 BLEU points on average

연구 동기 및 목표

• 번역 중 디코딩 과정에서 소스 문장의 가장 관련성이 높은 부분만 동적으로 식별하고 인코딩함으로써 신경 기계 번역 성능을 향상시키기 위해.
• 이전 모델들(예: NNJM)이 사용하는 고정 크기의 소스 컨텍스트 윈도우의 한계를 극복하기 위해, 더 유연하고 주목에 기반한 인코딩 메커니즘을 사용하기 위해.
• 목표 언어 정보에 의해 유도되는 CNN 기반 소스 인코더와 딥 네트워크 기반 공동 모델을 통합하여 더 나은 컨텍스트 표현을 얻기 위해.
• 단어 정렬 태그와 목표 디코더의 은닉 상태와 같은 다양한 유도 신호가 소스 표현 품질에 미치는 영향을 평가하기 위해.
• 종단 간 재학습이 필요 없이도 유도된, 컨볼루션 기반의 소스 문장 인코딩이 통계적 기계 번역 시스템의 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 목표 측에서 유도하는 신호를 다르게 사용하는 두 가지 CNN 기반 인코더—tag CNN 및 in CNN—를 제안한다.
• tag CNN는 현재 목표 단어의 정렬 인덱스를 사용하여 관련된 소스 단어만 선택하고 인코딩하는 반면, in CNN는 목표 RNN의 은닉 상태를 주목 신호로 사용한다.
• 국소 게이팅과 전역 풀링을 갖춘 다층 컨볼루션 아키텍처를 사용하여 전체 문장의 컨텍스트를 유지하면서도 주목적인 소스 특징을 추출하고 요약한다.
• 딥 네트워크(DNN)를 통해 CNN로 학습된 소스 표현과 목표 단어의 이력을 통합하여 다음 목표 단어를 예측함으로써, 더 강력한 신경망 공동 모델(NEJM)을 구성한다.
• 정보 집약을 위해 CNN 레이어에서 최대 풀링과 게이팅 전략을 사용하며, 다양한 풀링 크기와 게이팅 메커니즘 간 성능 비교를 위한 분석 연구를 수행한다.
• 공동 모델을 종속성-문자열 번역 시스템의 기능으로 적용하여, 아키텍처의 대대적 개선 없이도 기존 SMT 디코더에 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 목표 측 컨텍스트에서 유도된 신호를 바탕으로, 컨볼루션 신경망이 주어진 목표 단어를 예측하기 위해 관련성이 높은 소스 단어만 효과적으로 식별하고 인코딩할 수 있는가?
• RQ2 단어 정렬 태그나 디코더 은닉 상태와 같은 다양한 유도 신호를 사용할 경우, 소스 표현 품질과 번역 성능에 어떤 영향을 미치는가?
• RQ3 게이트형 컨볼루션 아키텍처가 전통적인 최대 풀링보다 관련 소스 정보를 요약하는 데 얼마나 더 효과적인가?
• RQ4 컨볼루션 입력에 문법 정보(예: 종속성 헤드)를 통합하면 모델이 관련 소스 어구를 더 잘 국소화할 수 있는가?
• RQ5 제안된 유도된 CNN 기반 공동 모델이 기준 SMT 시스템과 이전 최고 성능(NNJM) 모델 모두에 비해 상당한 향상을 이룰 수 있는가?

주요 결과

• 제안된 모델은 NIST 중국어-영어 번역 작업에서 종속성-문자열 번역 시스템 기준으로 평균 +2.0 BLEU 점수 향상을 달성하였다.
• 이전 최고 성능(NNJM) 모델 대비 최대 +1.08 BLEU 점수 향상을 기록하여, 유도된 동적 소스 인코딩의 효과성을 입증하였다.
• 8-풀링을 사용한 in CNN 버전이 풀링 구성 중에서 가장 뛰어난 성능을 보였으며, 2-풀링 대비 0.71 BLEU 점수 향상을 기록하여 더 큰 수신 범위가 관련 소스 세그먼트를 더 잘 포착함을 시사하였다.
• tag CNN에 종속성 헤드 정보를 추가 태그로 통합함으로써 평균 +0.23 BLEU 점수 향상을 기록하여, 문법적 구조가 표현 품질을 향상시킨다는 것을 확인하였다.
• CNN 레이어의 게이팅 메커니즘이 최대 풀링 대비 0.34–0.71 BLEU 점수 향상을 기록하여, 학습된 주목(게이팅)이 고정된 풀링보다 관련 소스 콘텐츠 선택에 더 효과적이라는 것을 보여주었다.
• 분석 연구 결과, 유도 신호와 아키텍처 설계(예: 게이팅 대비 풀링)가 성능에 상당한 영향을 미치며, 사용하는 디코딩 신호에 따라 in CNN와 tag CNN가 상호보완적인 강점을 보임을 확인하였다.