[논문 리뷰] Modeling Source Syntax for Neural Machine Translation

Junhui Li, Deyi Xiong외 4명|arXiv (Cornell University)|2017. 05. 02.

Natural Language Processing Techniques참고 문헌 28인용 수 25

한 줄 요약

이 논문은 구조 레이블 시퀀스로 파싱 트리를 선형화하고, 세 가지 RNN 기반 아키텍처인 병렬, 계층적, 혼합 RNN을 통해 인코더에 통합함으로써 신경 기계 번역(NMT)에서 소스 측 구문을 명시적으로 모델링하는 방법을 제안한다. 혼합 RNN 모델은 단어와 레이블을 순차적으로 스티치하는 방식으로 중국어-영어 번역에서 강력한 베이스라인 대비 1.4 BLEU 포인트의 유의미한 향상을 이룩하며, 명시적 구문 모델링이 번역 정확도와 구문 일관성을 향상시킨다는 것을 보여준다.

ABSTRACT

Even though a linguistics-free sequence to sequence model in neural machine translation (NMT) has certain capability of implicitly learning syntactic information of source sentences, this paper shows that source syntax can be explicitly incorporated into NMT effectively to provide further improvements. Specifically, we linearize parse trees of source sentences to obtain structural label sequences. On the basis, we propose three different sorts of encoders to incorporate source syntax into NMT: 1) Parallel RNN encoder that learns word and label annotation vectors parallelly; 2) Hierarchical RNN encoder that learns word and label annotation vectors in a two-level hierarchy; and 3) Mixed RNN encoder that stitchingly learns word and label annotation vectors over sequences where words and labels are mixed. Experimentation on Chinese-to-English translation demonstrates that all the three proposed syntactic encoders are able to improve translation accuracy. It is interesting to note that the simplest RNN encoder, i.e., Mixed RNN encoder yields the best performance with an significant improvement of 1.4 BLEU points. Moreover, an in-depth analysis from several perspectives is provided to reveal how source syntax benefits NMT.

연구 동기 및 목표

• 명시적인 소스 측 구문 모델링이 신경 기계 번역(NMT) 성능을 향상시킬 수 있는지 조사하는 것.
• NMT 시스템이 소스 구문을 존중하지 못해 불연속적 또는 과다 번역된 어구를 생성하는 문제를 다루는 것.
• 수동으로 설계된 언어학적 특징에 의존하지 않고 구문 구조를 NMT에 통합하는 방법을 탐색하는 것.
• 파싱 트리에서 파생된 구조 레이블 시퀀스가 번역 정확도와 구문 일관성을 향상시키는지 평가하는 것.

제안 방법

• 소스 측 문장 구조 파싱 트리를 구조 레이블 시퀀스(예: NP, VP, S)로 선형화하여 구문 구조를 표현하는 것.
• 세 가지 인코더 변형을 제안: 병렬 RNN(단어와 레이블을 병렬로 처리), 계층적 RNN(이중 계층 구조로 처리), 혼합 RNN(단일 시퀀스에서 단어와 레이블을 번갈아가며 처리).
• 단어와 구문 레이블에 대한 공동 표현 벡터를 학습하여 구조 레이블 시퀀스를 NMT 인코더에 통합하는 것.
• 표준 어텐션 기반 시퀀스-투-시퀀스 NMT를 베이스라인으로 사용하며, 구문 통합을 위해 인코더만 수정하는 방식.
• 어 attention 메커니즘과 단어 수준 임베딩을 사용하여 중국어-영어 번역에서 모델을 엔드 투 엔드로 훈련하는 것.
• OOV 단어를 처리하기 위해 서브워드 분할(예: 바이트 페어 인코딩)을 적용하고, 필요에 따라 구조 레이블을 서브워드 단위로 확장하는 것.

실험 결과

연구 질문

• RQ1 소스 측 구문의 명시적 모델링이 신경 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 구문 통합을 위한 다양한 아키텍처 설계(병렬, 계층적, 혼합)가 번역 품질에 어떤 영향을 미치는가?
• RQ3 구문 구조를 통합함으로써 불연속적 또는 과다 번역된 명사어구와 같은 구문 일관성 문제를 줄일 수 있는가?
• RQ4 구문 구조가 희귀어 번역과 OOV 처리에 어떤 영향을 미치는가?

주요 결과

• 제안된 세 가지 구문 인식 인코더(병렬, 계층적, 혼합 RNN) 모두 중국어-영어 번역에서 기존 NMT 시스템 대비 번역 정확도를 향상시킨다.
• 혼합 RNN 인코더가 가장 뛰어난 성능을 보이며, NIST MT 02–05 테스트 세트에서 기존 베이스라인 대비 1.4 BLEU 포인트의 유의미한 향상을 기록한다.
• 혼합 RNN 모델은 희귀 소스 측 단어를 UNK가 아닌 타겟 단어로 더 잘 번역하여 OOV 관련 오류를 감소시킨다.
• 분석 결과, 명시적 구문 모델링이 없는 NMT 모델은 종종 소스 구문 구조를 존중하지 못해 불연속적 또는 반복적인 번역을 유도하는 경향이 있다.
• 연구 결과, 선형화된 파싱 트리와 단어 및 레이블 표현의 공동 학습을 통해 소스 구문을 NMT에서 효과적으로 활용할 수 있음을 확인했다.
• 이 방법은 서브워드 기반 기법과 호환되며, OOV 처리를 향상시키기 위해 구조 레이블을 서브워드 단위로 확장할 수 있다.