[논문 리뷰] Interactive Attention for Neural Machine Translation

Fandong Meng, Zhengdong Lu외 2명|arXiv (Cornell University)|2016. 10. 17.

Natural Language Processing Techniques참고 문헌 26인용 수 24

한 줄 요약

이 논문은 신경 기계 번역을 위한 새로운 어텐션 메커니즘인 인터랙티브 어텐션을 제안한다. 이는 디코딩 중 소스 표현에 대해 읽기와 쓰기 연산을 모두 허용함으로써 전통적인 어텐션을 향상시킨다. 어텐션 이력의 상호작용 메모리를 유지함으로써 모델은 정렬과 번역 품질을 향상시키며, NIST 중국어-영어 벤치마크에서 최신 기술 수준의 성능을 달성하여 표준 어텐션과 커버리지 모델보다 최대 4.22 BLEU 포인트 높은 성능을 기록한다.

ABSTRACT

Conventional attention-based Neural Machine Translation (NMT) conducts dynamic alignment in generating the target sentence. By repeatedly reading the representation of source sentence, which keeps fixed after generated by the encoder (Bahdanau et al., 2015), the attention mechanism has greatly enhanced state-of-the-art NMT. In this paper, we propose a new attention mechanism, called INTERACTIVE ATTENTION, which models the interaction between the decoder and the representation of source sentence during translation by both reading and writing operations. INTERACTIVE ATTENTION can keep track of the interaction history and therefore improve the translation performance. Experiments on NIST Chinese-English translation task show that INTERACTIVE ATTENTION can achieve significant improvements over both the previous attention-based NMT baseline and some state-of-the-art variants of attention-based NMT (i.e., coverage models (Tu et al., 2016)). And neural machine translator with our INTERACTIVE ATTENTION can outperform the open source attention-based NMT system Groundhog by 4.22 BLEU points and the open source phrase-based system Moses by 3.94 BLEU points averagely on multiple test sets.

연구 동기 및 목표

• 신경 기계 번역에서 전통적인 어텐션 메커니즘이 고정된 소스 표현을 읽기만 하는 데 의존하여 과도 번역 또는 부족 번역을 유발하는 등의 한계를 해결하기 위해.
• 읽기 및 쓰기 연산을 통해 디코더와 소스 표현 간의 동적 상호작용을 모델링하여 정렬 정확도와 번역 품질을 향상시키기 위해.
• 외부 메모리가 필요 없이 소스 주석을 주요 메모리 저장소로 사용하여 상호작용 이력을 추적하는 메모리 증강 어텐션 메커니즘을 개발하기 위해.
• 저자원 및 장문 번역 작업에서 기존 어텐션 기반 NMT 모델, 특히 커버리지 모델 및 오픈소스 시스템인 Groundhog과 Moses보다 성능을 뛰어나게 하기 위해.

제안 방법

• 인터랙티브 어텐션은 소스 주석에 대해 읽기-쓰기 메커니즘을 도입하여, 디코딩 중에 디코더가 소스 표현으로부터 읽고 동시에 쓰기 연산을 수행함으로써 소스 표현을 동적으로 수정할 수 있도록 한다.
• 모델은 신경 튜링 머신에서 영감을 얻은 메모리 업데이트 메커니즘을 사용하여 어텐션 이력에 기반해 소스 표현이 진화하도록 하며, 주석을 직접 수정하는 쓰기 연산을 포함한다.
• 각 디코딩 단계에서의 어텐션 가중치는 업데이트된 소스 주석의 가중 평균으로 계산되며, 이는 이전 어텐션 결정의 맥락과 이력 정보를 모두 포함한다.
• 디코더 상태는 게이트드 순환 단위(GRU)를 사용하여 업데이트되며, 이는 이전의 은닉 상태, 이전 타겟 단어, 그리고 현재 어텐션 메커니즘에서 유도된 컨텍스트 벡터를 통합한다.
• 소스 주석은 양방향 GRU 인코더를 통해 초기화되며, 어텐션 이력에 기반해 쓰기 연산을 통해 디코딩 중에 반복적으로 업데이트된다.
• 읽기와 쓰기 모두에 동일한 메모리(소스 주석)를 사용함으로써 외부 메모리가 필요 없이도 더 풍부한 상호작용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 소스 표현에 대해 읽기-쓰기 어텐션 메커니즘을 적용하면 신경 기계 번역에서 정렬 및 번역 성능이 향상되는가?
• RQ2 장문이고 복잡한 소스 문장을 처리할 때 인터랙티브 메모리 업데이트 방식이 정적 어텐션 또는 커버리지 기반 모델보다 어떻게 비교되는가?
• RQ3 소스 표현에 쓰기 기능을 제공함으로써 부족 번역 및 과도 번역 오류는 어느 정도 감소하는가?
• RQ4 외부 메모리가 필요 없이 소스 주석에 직접 메모리 증강 어텐션 메커니즘을 구현할 수 있으며, 이로 인해 성능 향상이 달성되는가?

주요 결과

• 인터랙티브 어텐션은 전통적인 어텐션 기반 NMT 베이스라인을 크게 능가하며, 다양한 테스트 세트에서 오픈소스 어텐션 기반 시스템 Groundhog보다 최대 4.22 BLEU 포인트 향상된 성능을 기록한다.
• 프레이즈 기반 시스템 Moses보다 3.94 BLEU 포인트 향상된 성능을 기록하여 다양한 번역 작업에서 강력한 일반화 능력과 강인성을 입증한다.
• 더 긴 소스 문장(예: 40단어 이상)에서는 NMT${}_{\textsf{IA}}$가 베이스라인 및 커버리지 모델보다 일관되게 높은 BLEU 점수를 유지하며 장거리 의존성 처리 능력이 뛰어나다는 것을 보여준다.
• 인터랙티브 메모리 메커니즘 덕분에 디코더가 이미 주목한 또는 번역한 소스 단어를 추적할 수 있어 부족 번역 오류가 감소한다.
• 실험 결과 NMT${}_{\textsf{IA}}$-80은 모든 테스트 세트에서 전통적인 어텐션 모델과 신경망 기반 커버리지 모델(NN-Cover-80)을 모두 압도하며, 모든 문장 길이 그룹에서 일관된 성능 향상을 보였다.