[논문 리뷰] Towards Bidirectional Hierarchical Representations for Attention-Based Neural Machine Translation

Baosong Yang, Derek F. Wong외 3명|arXiv (Cornell University)|2017. 07. 17.

Natural Language Processing Techniques참고 문헌 15인용 수 10

한 줄 요약

이 논문은 나무 기반 인코더를 통해 국소적이고 전반적인 문법적 맥락을 통합함으로써 소스 측 표현을 향상시키는 이방향 계층적 주의 메커니즘 신경 기계 번역 모델을 제안한다. 양방향 RNN과 상향식 및 하향식 인코딩을 조합하고, 단어와 어구 기여도를 균형 잡기 위해 가중 주의 메커니즘을 사용함으로써, 특히 희귀어 및 OOV(보편 외 어휘) 단어에 대해 영어-중국어 번역 작업에서 번역 성능을 크게 향상시킨다.

ABSTRACT

This paper proposes a hierarchical attentional neural translation model which focuses on enhancing source-side hierarchical representations by covering both local and global semantic information using a bidirectional tree-based encoder. To maximize the predictive likelihood of target words, a weighted variant of an attention mechanism is used to balance the attentive information between lexical and phrase vectors. Using a tree-based rare word encoding, the proposed model is extended to sub-word level to alleviate the out-of-vocabulary (OOV) problem. Empirical results reveal that the proposed model significantly outperforms sequence-to-sequence attention-based and tree-based neural translation models in English-Chinese translation tasks.

연구 동기 및 목표

• 신경 기계 번역에서 문법적 구조와 장거리 의존성을 포착하는 데에 한계가 있는 순차적 모델의 문제를 해결한다.
• 기존의 나무 기반 인코더에서 전반적 문장 수준의 맥락을 통합하지 못하는 국소적 맥락 편향을 극복한다.
• BPE를 사용해 하위어 수준으로 모델을 확장함으로써 희귀어 및 보편 외 어휘(OOV) 단어의 번역 품질을 향상시킨다.
• 맥락에 기반해 어휘 수준 및 어구 수준 표현의 기여도를 동적으로 가중하는 방식으로 주의 메커니즘을 향상시킨다.
• 상향식 및 하향식 방향에서의 이방향 인코딩을 사용해 어구와 어휘 의미를 모두 포착하는 계층적 인코더를 개발한다.

제안 방법

• 이전 및 이후 맥락을 모두 포함하는 어휘 수준에서의 이방향 RNN을 사용해 어순 표현을 생성한다.
• 하향식(문장 수준) 및 상향식(어구 수준) 인코딩을 모두 수행하는 이방향 나무 기반 인코더를 설계하여 계층적 표현을 풍부하게 한다.
• 어휘 벡터와 어구 벡터 간의 정보 흐름을 균형 잡기 위해 시간에 따라 변화하는 게이팅 스칼라를 가진 가중 나무 기반 주의 메커니즘을 도입한다.
• BPE를 나무 기반 모델에 통합하여 하위어 단위를 생성함으로써 OOV 문제를 줄인다.
• 예측 가능성 확률을 최대화하기 위해 교차 엔트로피 손실을 사용하는 주의 기반 인코더-디코더 프레임워크를 통해 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 구문 트리를 사용해 인코딩 프로세스를 구조화함으로써 어구 및 어휘 표현이 계층적 의존성에서 유도됨을 보장한다.

실험 결과

연구 질문

• RQ1 이방향 계층적 인코더가 국소적 어구 수준 맥락과 전반적 문장 수준 맥락을 모두 포착함으로써 번역 성능을 향상시킬 수 있는가?
• RQ2 하향식 인코딩을 상향식 인코딩과 함께 통합함으로써 NMT에서 어구 및 어휘 표현의 품질에 어떤 영향을 미치는가?
• RQ3 가중 주의 메커니즘이 어휘 수준 및 어구 수준 정보를 동적으로 균형 잡기 위해 번역 품질에 얼마나 기여하는가?
• RQ4 BPE를 통해 나무 기반 모델을 하위어 수준으로 확장함으로써 OOV 문제를 줄일 수 있는가, 번역 품질이 저하되지 않는가?
• RQ5 제안된 모델은 표준 순차적-순차적 및 일반 나무 기반 NMT 모델과 비교해 BLEU 점수와 의미 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 모델은 Eriguchi 등(2016)의 일반 나무 기반 모델과 Bahdanau 등(2015)의 순차적-순차적 모델보다 NIST 영어-중국어 번역 작업에서 유의미한 성능 향상을 달성한다.
• 모호한 어구인 'areas outside'를 '以外的地区' (영역 외부)로 정확하게 번역하는 반면, 기준 나무 기반 모델은 잘못 '境外' (해외)로 번역하여 더 나은 맥락 이해 능력을 보여준다.
• 하위어 단위인 'hi/k/ed'에 대해 계층적 모델은 '上升' (상승)으로 정확히 번역하는 반면, 순차적 모델은 '发生' (일어남)으로 번역하여 어구 수준에서 더 뛰어난 의미 포착 능력을 보인다.
• BPE 기반 하위어 인코딩을 통해 희귀어를 효과적으로 처리하여 낮은 빈도 또는 미사용 형태의 단어에 대해서도 높은 번역 정확도를 유지한다.
• 가중 주의 메커니즘이 정보 흐름에 대한 동적 제어를 가능하게 하여 주의 정렬과 번역 유창성을 향상시킨다.
• 이방향 계층적 인코더는 단방향 모델보다 장거리 및 단거리 의존성을 더 효과적으로 포착하여 더 정확하고 맥락에 부합하는 번역 결과를 도출한다.