[논문 리뷰] Neural Machine Translation from Simplified Translations

Josep Crego, Jean Sénellart|arXiv (Cornell University)|2016. 12. 19.

Natural Language Processing Techniques참고 문헌 6인용 수 7

한 줄 요약

이 논문은 지식 정복을 활용하여 신경 기계 번역(NMT) 모델을 단순화된 번역으로 훈련시키는 방법을 제안한다. 기존 번역과 자동으로 생성된 단순화된 번역을 모두 사용하여 훈련함으로써, 최종 모델은 더 높은 BLEU 점수를 기록한다—신문시험2014에서 최대 +2.44 BLEU 향상. 이는 단순화된 번역이 학습을 향상시키고 표준 NMT 훈련 방식보다 번역 정확도를 높인다는 것을 보여준다.

ABSTRACT

Text simplification aims at reducing the lexical, grammatical and structural complexity of a text while keeping the same meaning. In the context of machine translation, we introduce the idea of simplified translations in order to boost the learning ability of deep neural translation models. We conduct preliminary experiments showing that translation complexity is actually reduced in a translation of a source bi-text compared to the target reference of the bi-text while using a neural machine translation (NMT) system learned on the exact same bi-text. Based on knowledge distillation idea, we then train an NMT system using the simplified bi-text, and show that it outperforms the initial system that was built over the reference data set. Performance is further boosted when both reference and automatic translations are used to learn the network. We perform an elementary analysis of the translated corpus and report accuracy results of the proposed approach on English-to-French and English-to-German translation tasks.

연구 동기 및 목표

• 목표 측면의 번역을 단순화하면 신경 기계 번역 성능이 향상되는지 조사하는 것.
• 신경 기계 번역 시스템으로부터 지식 정복을 통해 유용한 단순화된 번역을 생성할 수 있는지 탐색하는 것.
• 훈련 시 기준 번역과 단순화된 번역을 함께 사용할 경우, 기준 데이터만 사용할 때보다 더 나은 일반화 성능을 얻을 수 있는지 평가하는 것.
• 기준 번역과 비교해 단순화된 번역의 구조적 특성과 일치 성질을 분석하는 것.

제안 방법

• 기존의 병렬 양방향 텍스트를 기반으로 신경 기계 번역 시스템을 먼저 훈련시켜 자동 번역을 생성한다.
• 이 자동 번역은 의미를 유지하면서 문법적 및 어휘적 복잡성을 줄인 단순화된 목표 번역으로 간주된다.
• 지식 정복을 적용한다: 더 큰 교사 모델의 행동을 모방하도록 더 작은 학생 NMT 모델을 훈련시키며, 기준 번역과 단순화된 번역을 모두 훈련 데이터로 사용한다.
• 학생 모델는 어텐션 메커니즘과 LSTM 유닛을 사용한 양방향 인코더-디코더 아키텍처로 훈련된다.
• 훈련 데이터는 언어별 규칙에 따라 필터링 및 토큰화되며, 원천 및 목표 언어에서 빈도가 높은 상위 50,000개 단어로 어휘를 제한한다.
• 모델는 드롭아웃(0.3), 빔 서치 디코딩(빔 크기 5), 10번째 에포크 이후 학습률 감소를 적용한 확률적 경사 하강법으로 훈련된다.

실험 결과

연구 질문

• RQ1 자동으로 생성된 단순화된 번역이 신경 기계 번역 모델의 성능 향상에 기여할 수 있는가?
• RQ2 BLEU 점수와 모델 일반화 측면에서 단순화된 번역 사용이 표준 기준 번역 사용과 비교해 어떻게 다를 것인가?
• RQ3 훈련 시 기준 번역과 단순화된 번역을 함께 사용할 경우, 각각을 별도로 사용할 때보다 더 나은 성능을 낼 수 있는가?
• RQ4 기준 번역과 비교해 단순화된 번역이 얼마나 더 낮은 구조적 복잡성과 교차 일치를 보일 수 있는가?

주요 결과

• 기준 번역만 사용한 학생 NMT 모델가 교사 모델을 초월해 영어-독일어 테스트-인턴 세트에서 +0.51 BLEU 점수 향상을 기록했다.
• 영어-프랑스어 작업에서는 단순화된 번역 모델이 교사 모델보다 +0.69 BLEU 향상을 달성했다.
• 기준 번역과 단순화된 번역을 함께 사용한 모델는 교사 모델 대비 영어-독일어에서 +1.19 BLEU 향상, 영어-프랑스어에서 +1.46 BLEU 향상을 기록했다.
• 최고의 성능은 R+A 구성(기준 번역과 자동 번역)에서 달성되었으며, 영어-독일어 테스트-인턴 세트에서 34.59 BLEU, 영어-프랑스어 테스트-인턴 세트에서 55.24 BLEU를 기록했다.
• 단순화된 번역에서는 원천 문장과 목표 문장 간 교차 일치 수가 크게 감소하여 더 단순한 구조적 일치를 나타냈다.
• 단순화된 데이터로 훈련된 모델는 특히 OOV(어휘 외 단어) 처리에서 더 나은 일반화 성능를 보여, 드물거나 알려지지 않은 단어에 더 강건함을 입증했다.