[논문 리뷰] You May Not Need Attention

Ofir Press, Noah A. Smith|arXiv (Cornell University)|2018. 10. 31.

Topic Modeling참고 문헌 33인용 수 22

한 줄 요약

이 논문은 주의 메커니즘을 사용하지 않고, 인코더와 디코더를 하나의 아키텍처로 통합하는 엔드 투 엔드 순환 신경망 기계 번역 모델을 제안한다. 이는 첫 번째 소스 토큰을 읽는 즉시 타겟 토큰을 생성함으로써 저지연, 일정 메모리 번역을 가능하게 한다. 이 모델는 표준 주의 기반 모델과 유사한 성능을 보이며, 긴 시퀀스에서는 그들을 능가하며 주의 메커니즘 또는 별도의 인코딩/디코딩 모듈 없이 경쟁적인 BLEU 점수를 달성한다.

ABSTRACT

In NMT, how far can we get without attention and without separate encoding and decoding? To answer that question, we introduce a recurrent neural translation model that does not use attention and does not have a separate encoder and decoder. Our eager translation model is low-latency, writing target tokens as soon as it reads the first source token, and uses constant memory during decoding. It performs on par with the standard attention-based model of Bahdanau et al. (2014), and better on long sentences.

연구 동기 및 목표

• 신경 기계 번역 모델이 주의 메커니즘을 사용하지 않고도 경쟁적인 성능을 달성할 수 있는지 조사하는 것.
• 별도의 인코더-디코더 아키텍처를 대체하여 통합된 순환 시퀀스-투-시퀀스 모델의 실현 가능성을 평가하는 것.
• 첫 번째 소스 토큰을 처리한 직후 타겟 토큰을 생성함으로써 저지연, 일정 메모리 번역을 가능하게 하는 것.
• 정렬된, 급속 실행 가능한 문장 쌍을 사전 처리함으로써 이러한 모델의 효과적인 훈련이 가능한지 탐색하는 것.
• 제안된 모델의 성능을 표준 주의 기반 모델과 비교하여, 특히 긴 시퀀스에서의 성능을 평가하는 것.

제안 방법

• 모델는 소스 및 타겟 토큰을 통합된 시퀀스에서 처리하는 단일의 다층 LSTM을 사용하며, 각 타임스텝에서 입력 및 출력 임베딩을 연결한다.
• 모델은 타겟 시퀀스가 '급속 실행 가능'해지도록 최소한의 ε(공백) 토큰을 삽입하여 전처리된 데이터에서 훈련된다. 이는 소스 단어 인덱스가 타겟 단어 위치에 대해 비감소하게 유지되도록 보장하기 위함이다.
• 초기 패딩용 ε 토큰은 타겟 시퀀스의 시작 부분에 추가되어, 출력을 생성하기 전에 더 많은 소스 컨텍스트를 소비할 수 있도록 한다. 추론 시에는 빔 서치가 사용된다.
• 모델는 소스 및 타겟 토큰을 위한 공유된 임베딩 공간을 사용하며, LSTM 출력에 선형 변환을 적용하여 다음 타겟 단어를 예측한다.
• 사전 처리는 모든 정렬된 단어 쌍(s_i, t_j)에 대해 소스 인덱스 i ≤ 타겟 인덱스 j가 되도록 보장함으로써, 인과적, 접두사 기반 번역을 가능하게 한다.
• 추론 중 모델는 각 소스 토큰 이후에 예측을 단계적으로 출력하며, 현재 은닉 상태만 저장함으로써 일정 메모리 사용을 유지한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘을 사용하지 않고도 신경 기계 번역 모델이 경쟁적인 성능을 달성할 수 있는가?
• RQ2 별도의 인코더 및 디코더 모듈 없이 통합된 순환 아키텍처가 여전히 높은 번역 품질을 제공하는가?
• RQ3 각 소스 입력 이후에 토큰을 단계적으로 출력함으로써, 저지연, 일정 메모리 사용으로 실시간 번역을 생성할 수 있는가?
• RQ4 표준 주의 기반 모델과 비교할 때 모델의 성능은 어떻게 되는가, 특히 긴 시퀀스에서의 성능는?
• RQ5 ε 토큰을 사용하여 급속 실행 가능성을 강제로 적용하는 사전 처리가 훈련 및 추론 효율성에 얼마나 기여하는가?

주요 결과

• 제안된 모델는 EN→DE 번역 작업에서 다섯 개의 초기 ε 토큰을 사용하여 BLEU 점수 28.47을 기록했으며, 기준 모델의 28.56 BLEU 점수에 매우 가까운 성능을 보였다.
• 긴 시퀀스(81+ 토큰)에서는 모델가 기준 주의 모델을 능가했으며, FR→EN에서 BLEU 점수 27.44를 기록했고, 기준 모델의 22.10 BLEU 점수를 상회했다.
• DE→EN에서도 긴 시퀀스(81+ 토큰)에서 모델는 BLEU 점수 24.73을 기록했고, 기준 모델의 21.24 BLEU 점수를 뛰어넘었다.
• 짧은 시퀀스(1–20 토큰)에서는 모델가 기준 모델보다 성능이 열 劣했으며, FR→EN에서 BLEU 점수 23.74 대비 26.22로 나타나 짧은 시퀀스 성능에서의 상충 관계가 있음을 보였다.
• 최대 다섯 개의 초기 ε 팯딩 토큰 사용이 성능 향상에 기여했으며, EN→DE에서 BLEU 점수는 24.42에서 28.47로 상승했고, 이는 초기 컨텍스트가 모델의 생성 안정성에 도움이 된다는 것을 시사한다.
• 모델는 추론 중 일정 메모리를 사용한다. 왜냐하면 주의 기반 모델가 모든 은닉 상태를 저장하는 것과 달리, 현재 은닉 상태만 유지하기 때문이다.