[논문 리뷰] A Cheap Linear Attention Mechanism with Fast Lookups and Fixed-Size Representations

Alexandre de Brébisson, Pascal Vincent|arXiv (Cornell University)|2016. 09. 19.

Topic Modeling참고 문헌 4인용 수 6

한 줄 요약

이 논문은 기존의 어텐션에서 소프트맥스 비선형성을 제거함으로써 일정 시간 내 어텐션 검색을 수행하고 고정 크기의 표현을 제공하는 선형 어텐션 메커니즘의 가족을 소개한다. 이는 긴 시퀀스와 높은 쿼리 부하를 가진 대규모 응용 프로그램에서 효율성을 높인다. 실험 결과, 이 메커니즘은 어텐션 없음 모델보다 유의미하게 성능이 뛰어나지만, 소프트맥스 어텐션을 초월하지는 못한다.

ABSTRACT

The softmax content-based attention mechanism has proven to be very beneficial in many applications of recurrent neural networks. Nevertheless it suffers from two major computational limitations. First, its computations for an attention lookup scale linearly in the size of the attended sequence. Second, it does not encode the sequence into a fixed-size representation but instead requires to memorize all the hidden states. These two limitations restrict the use of the softmax attention mechanism to relatively small-scale applications with short sequences and few lookups per sequence. In this work we introduce a family of linear attention mechanisms designed to overcome the two limitations listed above. We show that removing the softmax non-linearity from the traditional attention formulation yields constant-time attention lookups and fixed-size representations of the attended sequences. These properties make these linear attention mechanisms particularly suitable for large-scale applications with extreme query loads, real-time requirements and memory constraints. Early experiments on a question answering task show that these linear mechanisms yield significantly better accuracy results than no attention, but obviously worse than their softmax alternative.

연구 동기 및 목표

• 긴 시퀀스와 높은 쿼리 볼륨을 가진 대규모 응용 프로그램에서 소프트맥스 어텐션의 계산 비효율성을 해결한다.
• 모든 은닉 상태를 저장하는 메모리 병목 현상을 해결하기 위해 고정 크기의 문서 표현을 가능하게 한다.
• 실시간 시스템과 메모리 제약이 있는 환경에 적합한 확장 가능한 어텐션 메커니즘을 개발한다.
• 선형 어텐션 메커니즘이 표준 RNN과 비교해 유의미한 장거리 종속성과 훈련 안정성을 유지할 수 있는지 탐색한다.

제안 방법

• 표준 어텐션에서 소프트맥스 비선형성을 선형 형식으로 대체하여, 각 검색에 대해 O(k²)의 계산 복잡도를 확보하고 시퀀스 길이 n과 무관하게 계산한다.
• 은닉 상태의 이阶 통계량을 누적하는 k×k 행렬 C(t)를 유지하여 고정 크기의 시퀀스 인코딩을 가능하게 한다.
• 행렬 C(t)를 사용해 어텐션을 Hᵀ(C(t)q)로 계산함으로써 빠르고 일정 시간 내의 어텐션 계산을 실현한다. 여기서 q는 쿼리 벡터이다.
• 어텐션 가중치를 조절할 수 있도록 학습하는 게이팅된 변형을 도입하여 성능을 향상시킨다.
• ADAM을 사용해 훈련하며, 쿼리와 문서에 대해 공유된 GRU 인코더를 사용하고, k=100 및 100차원 단어 임베딩을 사용한다.
• 최적화된 추론을 구현하여 어텐션 검색 자체에 대해 이론적 속도 향상 n/k ≈ 7배를 달성한다.

실험 결과

연구 질문

• RQ1 선형 어텐션 메커니즘이 시퀀스 길이에 관계없이 일정 시간 내 어텐션 검색을 수행할 수 있는가?
• RQ2 고정 크기의 표현(O(k²) 크기의 행렬)이 긴 시퀀스에서 효과적인 어텐션을 위해 충분한 정보를 포괄할 수 있는가?
• RQ3 질문-답변 작업에서 선형 어텐션의 성능은 어텐션 없음 모델과 소프트맥스 어텐션 모델과 비교해 어떻게 되는가?
• RQ4 게이팅 메커니즘이 선형 어텐션의 표현 능력을 향상시켜 소프트맥스 어텐션에 가까운 정확도를 달성할 수 있는가?
• RQ5 표준 RNN과 비교해 선형 메커니즘이 훈련 안정성과 장거리 종속성 학습을 향상시키는가?

주요 결과

• 선형 어텐션 메커니즘은 시퀀스 길이 n과 무관하게 각 어텐션 검색에 대해 O(k²)의 계산 복잡도를 확보하여 일정 시간 내 추론이 가능하다.
• 이 메커니즘은 O(k²) 크기의 고정 크기 표현을 지원하여 O(nk) 은닉 상태를 저장하는 것보다 메모리 사용을 줄인다.
• 실험 결과, 선형 어텐션은 어텐션 없음 모델보다 성능이 유의미하게 향상되어 그 효과를 입증한다.
• 선형 메커니즘의 게이팅 확장은 정확도를 추가로 향상시켜 소프트맥스 어텐션 메커니즘과의 격차를 좁힌다.
• k×k 행렬 표현은 스킵 연결의 형태로 작용하여 기울기 소실 문제를 완화하고 장거리 종속성 학습을 향상시킨다.
• 어텐션 검색 자체에 대해 이론적 속도 향상 n/k ≈ 7배를 달성할 수 있으나, 현재 실험 설정에서는 이에 대한 완전한 검증은 이루어지지 않았다.