[논문 리뷰] Incorporating Structural Alignment Biases into an Attentional Neural Translation Model

Trevor Cohn, Cong Duy Vu Hoang외 4명|arXiv (Cornell University)|2016. 01. 06.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 전통적인 어절 기반 모델에서 유래한 구조적 정렬 편향(예: 위치 편향, 마르코프 조건부, 비옥도, 이중 방향 정렬 일관성)을 주목성 기반 신경 기계 번역 모델에 통합함으로써 성능을 향상시킨다. 이러한 인덕티브 편향을 통합함으로써 제안된 모델은 특히 자원이 적은 환경에서 BLEU 점수와 퍼플렉서티가 크게 향상되며, 강력한 기준 모델 대비 재순서 정렬 작업에서 최대 3.5 BLEU 포인트의 성과 향상을 기록한다.

ABSTRACT

Neural encoder-decoder models of machine translation have achieved impressive results, rivalling traditional translation models. However their modelling formulation is overly simplistic, and omits several key inductive biases built into traditional models. In this paper we extend the attentional neural translation model to include structural biases from word based alignment models, including positional bias, Markov conditioning, fertility and agreement over translation directions. We show improvements over a baseline attentional model and standard phrase-based model over several language pairs, evaluating on difficult languages in a low resource setting.

연구 동기 및 목표

• 표준 주목성 기반 신경 기계 번역 모델의 한계를 해결하기 위해, 기존의 문맥 기반 모델에 존재하는 핵심 인덕티브 편향이 부족한 점을 보완한다.
• 언어의 문법적·구조적 편향을 주목성 메커니즘에 통합함으로써 자원이 적은 환경에서의 번역 품질을 향상시킨다.
• 위치 편향, 비옥도, 일관성 제약과 같은 정렬 관련 편향을 통합함으로써 모델 성능 향상 여부를 조사한다.
• 특히 어순 구조가 복잡한 언어 쌍을 포함한 다양한 언어 쌍에서 모델 성능을 평가한다.
• 구조적 인덕티브 편향이 퍼플렉서티와 BLEU 점수에 측정 가능한 성과 향상을 가져오는지 입증한다.

제안 방법

• 디코딩 중에 소스 단어를 동적으로 주목하는 주목성 메커니즘을 갖춘 이중 방향 LSTM 기반 인코더-디코더 프레임워크를 도입한다.
• 절대적 위치 편향을 주목성 메커니즘에 통합하여 소스와 타겟 단어 순서 간의 단조적 정렬을 선호한다.
• 마르코프 및 국소 비옥도 제약을 적용하여 각 소스 단어당 예상되는 타겟 토큰 수를 모델링함으로써 정렬 일관성을 향상시킨다.
• 사전 학습된 비옥도 분포를 사용해 전역 비옥도 모델링을 구현함으로써 주목성에 영향을 주고 노이즈를 감소시킨다.
• 앞서와 뒤로의 주목성 헤드를 함께 훈련시켜 정렬 일관성을 강제함으로써 대칭적인 정렬 예측을 유도한다.
• 강화된 모델에서의 로그 확률 특징을 사용해 재순서 정렬을 수행함으로써 번역 출력을 향상시킨다. 특히 자원이 적은 환경에서 효과가 뚜렷하다.

실험 결과

연구 질문

• RQ1 기존의 어절 기반 모델에서 유래한 구조적 정렬 편향이 주목성 기반 신경 번역 프레임워크로 효과적으로 이식될 수 있는가?
• RQ2 위치 편향, 비옥도, 정렬 일관성 등을 통합함으로써 자원이 적은 환경에서 번역 품질이 향상되는가?
• RQ3 이러한 구조적 편향은 순수 주목성 기반 모델과 문맥 기반 모델 대비 퍼플렉서티와 BLEU 점수에 어떤 영향을 미치는가?
• RQ4 이중 방향 주목성 헤드를 함께 훈련시키는 것이 정렬 정확도와 번역 유창성에 얼마나 기여하는가?
• RQ5 강화된 모델이 자원이 적은 번역에서 재순서 정렬에 사용될 경우 강력한 기준 모델을 초월할 수 있는가?

주요 결과

• 모든 언어 쌍에서 기존의 순수 인코더-디코더 모델과 표준 주목성 기반 모델보다 낮은 퍼플렉서티를 기록하였으며, 일부 경우에서 최대 30%의 감소를 기록했다.
• 재순서 정렬 실험에서, 기준 문맥 기반 시스템 대비 최대 3.5 포인트의 BLEU 점수 향상을 기록하였으며, 특히 중국어-영어 및 에스토니아어-영어 번역에서 두드러진 성과를 보였다.
• 중국어-영어 번역에서, 다양한 설정을 가진 모델의 앙상블을 재순서 정렬에 사용함으로써 BLEU 점수가 거의 3 포인트 향상되었다.
• 모든 언어 쌍에서 순수 주목성 기반 모델과 인코더-디코더 모델보다 일관되게 우수한 성능을 보였으며, 최소한 1 BLEU 포인트 이상의 향상이 이루어졌다.
• 전역 비옥도와 이중 방향 주목성의 통합은 특히 1대다 정렬의 경우 더 신뢰도 있고 일관성 있는 주목성 분포를 만들어내었다.
• 결과적으로, 자원이 적은 환경에서 데이터 부족이 모델 학습을 제한하는 상황에서 구조적 편향 통합이 성능 향상에 뚜렷한 기여를 한다는 것이 입증되었다.