[논문 리뷰] Neural Machine Translation with External Phrase Memory

Yaohua Tang, Fandong Meng외 3명|arXiv (Cornell University)|2016. 06. 06.

Natural Language Processing Techniques참고 문헌 15인용 수 53

한 줄 요약

이 논문은 번역 품질을 햖스키기 위해 이중어 번역어 조합을 저장하는 외부 어휘 메모리를 통합한 신경 기계 번역 모델인 phraseNet을 제안한다. 게이팅 메커니즘을 통해 단어 수준과 어휘 수준의 생성을 조합함으로써, phraseNet은 표준 NMT 대비 중국어-영어 번역에서 3.45 BLEU 향상률을 달성하여 순차적 모델에 상징적 지식을 효과적으로 통합함을 입증한다.

ABSTRACT

In this paper, we propose phraseNet, a neural machine translator with a phrase memory which stores phrase pairs in symbolic form, mined from corpus or specified by human experts. For any given source sentence, phraseNet scans the phrase memory to determine the candidate phrase pairs and integrates tagging information in the representation of source sentence accordingly. The decoder utilizes a mixture of word-generating component and phrase-generating component, with a specifically designed strategy to generate a sequence of multiple words all at once. The phraseNet not only approaches one step towards incorporating external knowledge into neural machine translation, but also makes an effort to extend the word-by-word generation mechanism of recurrent neural network. Our empirical study on Chinese-to-English translation shows that, with carefully-chosen phrase table in memory, phraseNet yields 3.45 BLEU improvement over the generic neural machine translator.

연구 동기 및 목표

• 표현적 지식, 즉 인간이나 코퍼스에서 추출한 어휘 쌍을 신경 기계 번역에 외부 지식으로 통합하기 위해.
• 표준 RNN 기반 순차적 모델의 단어별 디코딩을 넘어서 다단어 어휘 생성을 가능하게 하기 위해.
• RNN 상태 일관성을 유지하면서도 동적으로 어휘를 선택하고 생성할 수 있는 미분 가능하고 종단 간 훈련이 가능한 메커니즘을 설계하기 위해.
• 어휘 메모리의 효과를 평가하여 번역의 자연스러움과 정확도, 특히 희귀어나 OOV(어휘 외 단어) 처리에 기여하는지 확인하기 위해.
• 저자원 또는 OOV 상황에서 어휘 수준 지식이 어휘 확장만으로는 불충분할 수 있음을 탐색하기 위해.

제안 방법

• 모델는 병렬 코퍼스에서 추출하거나 전문가가 제공한 상징적 어휘 쌍을 포함하는 어휘 메모리를 사용한다.
• 에코더는 이중 방향 RNN을 사용해 소스 문장을 처리하고, 어휘 메모리는 소스 표현에 관련된 어휘 후보를 태그하기 위해 스캔된다.
• 디코더는 단어 생성 모드와 어휘 생성 모드의 혼합 모드를 사용하며, 각 단계에서 생성 방식을 결정하기 위해 게이팅 메커니즘(phraseNet 게이트) 또는 소프트맥스 혼합 모델(phraseNet 소프트맥스)을 활용한다.
• 다단어 어휘를 생성한 후, 디코더는 RNN 은닉 상태 일관성을 유지하기 위해 '아이들 런(idle run)'을 수행한다.
• 어텐션 메커니즘은 어휘 수준의 맥락을 통합하도록 수정되었으며, 디코더는 인코딩된 소스와 어휘 메모리에 대한 어텐션을 기반으로 유도된 컨텍스트 벡터를 사용한다.
• 모델는 타겟 어휘와 어휘 테이블에 대해 교차 엔트로피 손실 함수를 사용해 백프로파게이션을 통해 종단 간 훈련된다.

실험 결과

연구 질문

• RQ1 외부 상징적 어휘 지식이 표준 NMT 아키텍처를 넘어서 신경 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 하이브리드 단어-어휘 생성 메커니즘이 순수한 단어별 디코딩 대비 BLEU 점수와 자연스러움 측면에서 우월한가?
• RQ3 어휘 메모리 통합이 OOV(어휘 외 단어) 처리에 어떤 영향을 미치는가?
• RQ4 게이팅 모델과 소프트맥스 모델의 다른 혼합 전략이 어휘 생성 및 전체 번역 품질에 어떤 영향을 미치는가?
• RQ5 phraseNet은 어휘를 출력 시퀀스의 올바른 위치에 생성하는가, 아니면 단지 n-gram 겹침을 늘리는 데 그치는가?

주요 결과

• phraseNet 게이트 모델은 중국어-영어 번역에서 기준 RNNsearch 모델 대비 평균 3.45 BLEU 향상률을 기록한다.
• phraseNet 소프트맥스 모델은 동일한 기준 모델 대비 2.13 BLEU 향상률을 기록하며, 게이트 버전에 비해 일관되지만 더 작은 성과를 보인다.
• 30K 어휘 사전을 사용한 RNNsearch 모델 대비 1.65 BLEU 뒤처짐에도 불구하고 phraseNet 게이트 모델은 뚜렷한 우월성을 보이며, 어휘 확장만으로는 어휘 메모리만큼 효과적인 지식 제공이 어려운 것으로 나타났다.
• 4-gram BLEU 평가에서 phraseNet 게이트 모델은 평균 16.47 점을 기록한 반면 RNNsearch는 14.97 점을 기록하여, 어휘가 올바른 위치에 생성되었고 단지 n-gram 겹침 증가에 그치지 않음을 확인했다.
• 사례 연구 결과, phraseNet 게이트 모델은 소스 단어가 OOV일 경우에도 어휘를 정확히 번역할 수 있었으며, 단어 생성 모드와 어휘 생성 모드 사이에서 균형 잡힌 유연한 전환을 유지했다.
• 모델는 일반 어휘 처리에 있어 뚜렷한 강건성을 보였으며, 어휘 모드가 선택되지 않은 경우에도 어휘를 정확히 생성하는 경우가 있어, 효과적인 단어 모드 후속 조치를 보였다.