[논문 리뷰] Can Active Memory Replace Attention?

Łukasz Kaiser, Samy Bengio|arXiv (Cornell University)|2016. 10. 27.

Multimodal Machine Learning Applications참고 문헌 18인용 수 16

한 줄 요약

이 논문은 신경 기계 번역에서 트랜스포머 스타일의 어텐션 모델과 동등하거나 이를 초월하는 성능을 보이며, 문장 길이에 덜 민감한 WMT'14 영어-독어 번역에서 최고 성능을 달성하는 확장된 액티브 메모리 메커니즘인 확장된 신경 GPU를 제안한다. 표준 어텐션과 달리, 소프트맥스를 통해 단일 메모리 요소에 집중하는 대신, 학습 가능한 변환을 사용해 각 단계에서 모든 메모리 요소를 균일하게 갱신함으로써 더 긴 시퀀스와 더 작은 데이터셋에서 더 나은 일반화를 가능하게 한다.

ABSTRACT

Several mechanisms to focus attention of a neural network on selected parts of its input or memory have been used successfully in deep learning models in recent years. Attention has improved image classification, image captioning, speech recognition, generative models, and learning algorithmic tasks, but it had probably the largest impact on neural machine translation. Recently, similar improvements have been obtained using alternative mechanisms that do not focus on a single part of a memory but operate on all of it in parallel, in a uniform way. Such mechanism, which we call active memory, improved over attention in algorithmic tasks, image processing, and in generative modelling. So far, however, active memory has not improved over attention for most natural language processing tasks, in particular for machine translation. We analyze this shortcoming in this paper and propose an extended model of active memory that matches existing attention models on neural machine translation and generalizes better to longer sentences. We investigate this model and explain why previous active memory models did not succeed. Finally, we discuss when active memory brings most benefits and where attention can be a better choice.

연구 동기 및 목표

• 표준 어텐션 메커니즘의 한계를 해결하기 위해, 단일 메모리 요소에 집중하고 다중 부분 메모리 액세스가 필요한 작업에서 어려움을 겪는 점을 다루기 위해.
• 모든 메모리 요소가 각 단계에서 균일하게 갱신되는 액티브 메모리—즉, 모든 메모리 요소가 동일한 방식으로 갱신됨—이 실제 NLP 작업, 특히 기계 번역과 같은 시퀀스-투-시퀀스 작업에서 어텐션을 대체할 수 있는지 조사하기 위해.
• 이전의 액티브 메모리 모델이 시퀀스-투-시퀀스 작업에서 어텐션을 능가하지 못한 주요 결함를 규명하기 위해.
• 대규모 번역 작업에서 어텐션과 성능이 동등한 확장된 액티브 메모리 아키텍처(확장된 신경 GPU)를 개발하고 평가하기 위해.

제안 방법

• 각 디코딩 단계에서 공유된 학습 가능한 함수(예: 컨볼루션 또는 순환층)를 사용해 모든 메모리 요소를 균일하게 변환하는 액티브 메모리 메커니즘을 제안하며, 단일 요소에 집중하는 것과는 다릅니다.
• 출력 분포에 순환적 의존성을 추가함으로써 원래의 신경 GPU를 확장한 확장된 신경 GPU 모델을 도입하여, 순차적 구조를 더 잘 모델링할 수 있도록 합니다.
• 장거리 의존성을 안정적으로 학습하기 위해 훈련 중에 티처 포싱을 사용하며, 이는 높은 성능을 달성하는 데 핵심적인 요소입니다.
• 각 단계에서 모든 메모리 요소에 공통된 변환을 적용함으로써 병렬 계산을 가능하게 하고, 시퀀스 길이에 대한 민감도를 감소시킵니다.
• 훈련 중 길이 정규화와 드롭아웃을 적용하며, 성능을 최적화하기 위해 철저한 초모델 설정을 수행합니다.
• 통제된 환경에서 WMT'14 및 WSJ 파싱과 같은 표준 벤치마크에서 BLEU 점수와 퍼플렉서티를 사용해 성능을 평가합니다.

실험 결과

연구 질문

• RQ1 왜 이전의 액티브 메모리 모델은 신경 기계 번역 작업에서 어텐션 메커니즘을 능가하지 못했는가?
• RQ2 액티브 메모리 메커니즘이 실제 NLP 작업, 특히 시퀀스-투-시퀀스 번역에서 소프트 어텐션의 성능을 따라할 수 있는가?
• RQ3 액티브 메모리가 더 긴 시퀀스와 더 작은 데이터셋에서 더 나은 일반화를 위해 필요한 아키텍처 수정은 무엇인가?
• RQ4 어떤 상황에서 액티브 메모리가 어텐션을 능가하고, 어디서 어텐션이 여전히 슈퍼어리어한가?
• RQ5 출력 분포에 순환적 의존성이 포함될 경우 모델 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 확장된 신경 GPU 모델은 WMT'14 영어-독어 번역 작업에서 BLEU 점수 28.4를 기록하여 최고 성능을 보이는 어텐션 기반 모델과 동등한 성능을 달성한다.
• 액티브 메모리 모델은 어텐션 기반 베이스라인 대비 문장 길이에 훨씬 덜 민감하며, 0–10에서 50+ 토큰까지의 모든 길이 버킷에서 안정적인 성능을 유지한다.
• 작은 WSJ 구성 문법 분석 데이터셋(40,000개 문장)에서 모델은 F1 점수 85.1을 기록하여 순수한 시퀀스-투-시퀀스 모델(F1 < 70)을 능가하며, 제한된 데이터에서 강력한 일반화 능력을 보여준다.
• 액티브 메모리 모델은 디코딩 중 길이 정규화가 필요하지 않으며, 이는 짧은 훈련 예제에서 더 나은 일반화를 한다는 것을 시사한다.
• 테스트 세트에서의 퍼플렉서티는 확장된 신경 GPU에서 1.3으로, 최고 성능을 내는 어텐션 모델과 유사하여 강력한 언어 모델링 능력을 보여준다.
• 연구 결과, 출력 분포에 순환적 의존성이 성능 향상에 필수적이며, 이는 모델 아키텍처와 분리될 수 있으며, 적절한 정규화를 통해 액티브 메모리가 어텐션과 성능이 동등해질 수 있음을 확인했다.