[논문 리뷰] Neural Machine Translation with Recurrent Attention Modeling

Zichao Yang, Zhiting Hu외 3명|arXiv (Cornell University)|2016. 07. 18.

Natural Language Processing Techniques참고 문헌 13인용 수 14

한 줄 요약

이 논문은 각 소스 단어별로 별도의 RNN을 사용하여 주의력 역사(attention history)를 요약함으로써 신경 기계 번역(NMT)에서 이전 및 이후 주의력 결정 간의 의존성을 모델링하는 순환 주의 메커니즘을 제안한다. 이 동적 메모리를 주의력 계산에 통합함으로써, 중국어-영어 번역에서 최대 1.5 BLEU 포인트, 영어-독일어 번역에서 최대 0.7 BLEU 포인트 향상된 번역 품질을 달성하며, 이는 이전의 주의력 기반 모델들과 최신 기준 모델들을 능가한다.

ABSTRACT

Knowing which words have been attended to in previous time steps while generating a translation is a rich source of information for predicting what words will be attended to in the future. We improve upon the attention model of Bahdanau et al. (2014) by explicitly modeling the relationship between previous and subsequent attention levels for each word using one recurrent network per input word. This architecture easily captures informative features, such as fertility and regularities in relative distortion. In experiments, we show our parameterization of attention improves translation quality.

연구 동기 및 목표

• 시간 단계 간 주의력 결정 간의 의존성을 명시적으로 모델링하여 신경 기계 번역(NMT)의 성능을 향상시키기.
• 기존 주의력 메커니즘이 각 주의력 단계를 독립적으로 처리하여 이전의 정렬 패턴을 忽略하는 한계를 해결하기.
• 주의력 역사에 대한 순환 모델링을 통해 어휘의 번식성(fertility)과 상대적 왜곡(relative distortion)과 같은 구조적 규칙성을 포착하기.
• 변동 길이의 소스 문장을 처리하면서 장거리 커버리지 및 순서 제약 조건을 학습할 수 있는 방법 개발하기.
• 기준 주의력 기반 NMT 모델들과 이전의 최신 기준 시스템들을 표준 번역 벤치마크 작업에서 능가하기.

제안 방법

• 각 소스 단어에 대해, 이전 정렬 결정의 고정 크기 윈도우 내 주의력 역사를 요약하는 별도의 순환 네트워크를 사용한다.
• 이 RNN의 은닉 상태는 주의력 역사를 나타내며, 이는 소스 단어의 컨텍스트 벡터와 연결되어 동적 메모리 표현을 형성한다.
• 이 동적 메모리는 정적 컨텍스트 벡터와 함께 주의력 메커니즘에 사용되어 현재 타겟 단어의 주의력 가중치를 계산한다.
• 주의력 메커니즘은 콘텐츠 기반 주소 지정을 사용하며, 탄젠트 비선형성과 소프트맥스 정규화를 포함한 호환성 함수를 활용한다.
• 디코더는 주어진 호환성 함수에 의해 결정되는 가중치의 가중 평균으로 계산된 컨텍스트 벡터를 사용하는 LSTM을 사용한다.
• 학습은 학습률 감소와 기울기 클리핑을 포함한 확률적 경사 하강법을 통해 수행되며, OOV 처리를 향상시키기 위해 UNK 치환 전략이 포함되어 있다.

실험 결과

연구 질문

• RQ1 주의력 결정 간의 순차적 의존성을 모델링하면 신경 기계 번역 성능 향상에 기여하는가?
• RQ2 기존의 독립적인 주의력 메커니즘과 비교해 역사적 주의력 패턴을 통합할 경우 번역 품질에 어떤 영향을 미치는가?
• RQ3 주의력 역사 윈도우 크기를 변화시킬 경우 번역 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 어휘의 번식성과 정렬에서의 상대적 왜곡과 같은 언어적 규칙성을 더 잘 포착할 수 있는가?
• RQ5 표준 번역 벤치마크에서 RNNSearch와 사전 학습된 사다리형 LSTM(4층) 주의력 모델과 비교해 성능이 뛰어나다고 할 수 있는가?

주요 결과

• 기본 모델인 RNNSearch와 비교해 영어-독일어 newstest2015 세트에서 0.7 BLEU 포인트 향상된 성능을 기록했다.
• 주의력 역사 윈도우 크기를 11로 설정했을 때, 중국어-영어 테스트 세트에서 기본 모델 대비 1.5 BLEU 포인트 향상된 성능을 기록했다.
• 제안된 주의력 메커니즘과 UNK 치환 전략의 조합은 영어-독일어 번역에서 25.0 BLEU 점수를 달성했으며, 이는 이전 최신 기준 모델들을 0.8 BLEU 포인트 초월한 성능이다.
• 중국어-영어 MT05 테스트 세트에서 29.3 BLEU 점수를 기록했으며, 이는 이전에 보고된 최고 성능보다 1.6 BLEU 포인트 높은 성능이다.
• 성능 향상은 영어-독일어 번역보다 중국어-영어 번역에서 더 두드러지며, 이는 소스어와 목표어 간 공통 어휘 수가 적기 때문일 것이다.
• 실험 결과에 따르면, 은닉 상태나 커버리지 전용 접근 방식을 간접적으로 활용하는 것보다 RNN을 통한 주의력 역사를 모델링하는 것이 훨씬 효과적임을 확인했다.