[논문 리뷰] Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation

Jinsong Su, Zhixing Tan외 4명|arXiv (Cornell University)|2016. 09. 25.

Natural Language Processing Techniques인용 수 57

한 줄 요약

이 논문은 신경 기계 번역을 위한 격자 기반 RNN 인코더를 제안하며, 표준 RNN을 확장하여 소스 문장을 다중 타이핑화된 표현 방식인 단어 격자(Word Lattice)를 처리하도록 한다. 다수의 가능한 분할 방식을 동시에 활용함으로써 1-best 타이핑화에서 발생하는 오류 전파를 줄이고, 표준 RNN 인코더 대비 중국어-영어 번역에서 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Neural machine translation (NMT) heavily relies on word-level modelling to learn semantic representations of input sentences. However, for languages without natural word delimiters (e.g., Chinese) where input sentences have to be tokenized first, conventional NMT is confronted with two issues: 1) it is difficult to find an optimal tokenization granularity for source sentence modelling, and 2) errors in 1-best tokenizations may propagate to the encoder of NMT. To handle these issues, we propose word-lattice based Recurrent Neural Network (RNN) encoders for NMT, which generalize the standard RNN to word lattice topology. The proposed encoders take as input a word lattice that compactly encodes multiple tokenizations, and learn to generate new hidden states from arbitrarily many inputs and hidden states in preceding time steps. As such, the word-lattice based encoders not only alleviate the negative impact of tokenization errors but also are more expressive and flexible to embed input sentences. Experiment results on Chinese-English translation demonstrate the superiorities of the proposed encoders over the conventional encoder.

연구 동기 및 목표

• 중국어와 같이 자연스럽게 단어 경계가 없는 저자원 언어에서의 비최적 또는 오류가 발생하기 쉬운 단어 분할 문제를 해결한다.
• 표준 NMT 인코더에서 발생하는 1-best 타이핑화 오류 전파 문제를 다수의 후보 분할 방식을 통합함으로써 줄인다.
• 단어 격자 구조를 통해 RNN 인코더의 표현력과 유연성을 향상시킨다.
• 격자 기반 RNN이 중국어-영어 번역에서 신경 기계 번역 성능 향상에 얼마나 효과적인지 입증한다.

제안 방법

• 각 노드가 단어 후보를 나타내고 간선이 후보 간 전이를 나타내는 단어 격자에서 작동하도록 표준 RNN을 일반화한다.
• 두 가지 변종을 제안한다: 아키텍처 변경 없이 다수의 경로에서 입력과 은닉 상태를 통합하는 얕은 격자 GRU와, 타이핑화별 게이트, 입력, 은닉 상태 갱신을 학습하는 깊은 격자 GRU.
• 어텐션 메커니즘에서 모든 격자 경로의 소스 애너테이션 가중 평균을 사용해 컨텍스트 벡터를 계산한다.
• 표준 NMT 목표 함수를 사용해 엔드 투 엔드로 학습함으로써, 모델이 인코딩 과정에서 관련된 격자 경로에 동적으로 주목할 수 있도록 한다.
• 다양하고 고카버리지 타이핑화를 생성하기 위해 여러 분할 시스템(예: CTB, PKU, MSR)을 사용해 단어 격자를 구축한다.
• 각 시간 단계에서 모든 격자 경로를 통해 은닉 상태와 입력을 집계함으로써 격자 입력을 GRU 업데이트 식에 통합한다.

실험 결과

연구 질문

• RQ1 자연적 단어 경계가 없는 언어에서, 단어 격자를 통해 NMT의 소스 문장 표현 학습을 향상시킬 수 있는가?
• RQ2 다수의 타이핑화를 동시에 처리함으로써 1-best 타이핑화 오류의 부정적 영향을 줄일 수 있는가?
• RQ3 번역 품질과 내성 면에서 격자 기반 RNN 인코더는 표준 RNN 인코더보다 어떻게 비교되는가?
• RQ4 다양한 분할 가설을 활용함으로써 격자 기반 인코더가 더 나은 의미 표현을 포착할 수 있는가?

주요 결과

• 제안된 격자 기반 RNN 인코더는 중국어-영어 번역에서 표준 RNN 인코더를 뚜렷이 능가하며 BLEU 점수에서 일관된 향상을 보였다.
• 격자 코퍼스는 사전 내 단어로 커버된 문자 스팸 비율이 가장 높았으며, CTB, PKU, MSR와 같은 개별 타이핑화 코퍼스를 뛰어넘었다.
• 다수의 분할 가설 사용으로 UNK 토큰 수가 감소하여 커버리지가 향상되고 OOV 문제를 줄였다.
• 깊은 격자 GRU 변종이 얕은 변종보다 더 뛰어난 성능을 보였으며, 이는 타이핑화별 표현을 학습함으로써 모델링 능력이 향상됨을 시사한다.
• 결과는 단어 경계 정보가 NMT에서 정확한 문장 표현을 위해 필수적임을 확인하였으며, 특히 중국어와 같은 언어에서는 더욱 그렇다.
• 이 연구는 NMT의 RNN 인코더에 단어 격자를 통합한 최초의 시도로, 강력한 시퀀스 모델링을 위한 새로운 패러다임을 설정한다.