[논문 리뷰] Efficient Attention: Attention with Linear Complexities

Zhuoran Shen, Mingyuan Zhang외 3명|arXiv (Cornell University)|2018. 12. 04.

Advanced Neural Network Applications참고 문헌 22인용 수 88

한 줄 요약

선형 메모리 및 계산으로 dot-product attention과 수학적으로 동등한 효율적 주의(attention) 메커니즘을 제안하여 고해상도 및 자원 집약적 작업을 가능하게 하고 MS-COCO 및 Scene Flow 데이터셋에서 개선을 달성한다.

ABSTRACT

Dot-product attention has wide applications in computer vision and natural language processing. However, its memory and computational costs grow quadratically with the input size. Such growth prohibits its application on high-resolution inputs. To remedy this drawback, this paper proposes a novel efficient attention mechanism equivalent to dot-product attention but with substantially less memory and computational costs. Its resource efficiency allows more widespread and flexible integration of attention modules into a network, which leads to better accuracies. Empirical evaluations demonstrated the effectiveness of its advantages. Efficient attention modules brought significant performance boosts to object detectors and instance segmenters on MS-COCO 2017. Further, the resource efficiency democratizes attention to complex models, where high costs prohibit the use of dot-product attention. As an exemplar, a model with efficient attention achieved state-of-the-art accuracies for stereo depth estimation on the Scene Flow dataset. Code is available at https://github.com/cmsflash/efficient-attention.

연구 동기 및 목표

• 표준 dot-product attention의 이차 비용으로 인해 큰 입력 크기에서 글로벌 의존성 모델링의 필요성을 동기 부여한다.
• 스케일링 정규화 하에서 dot-product attention과 동등한 선형 메모리 및 계산을 갖는 대안적인 attention 공식화를 도입한다.
• efficient attention이 네트워크 내에서 더 많은 attention 모듈과 더 높은 해상도 특징을 통합할 수 있게 한다는 것을 보여준다.
• 자원 제약 하에서 객체 탐지, 인스턴스 분할 및 스테레오 깊이 추정에서 상당한 성능 향상을 보여준다.

제안 방법

• 행렬 곱셈을 재배열하여 Q와 K'V를 통해 글로벌 컨텍스트를 계산하고 선형 메모리 및 계산을 달성하도록 dot-product attention를 재구성한다.
• rho_q(Q) (rho_k(K)^T V)로 정의되는 efficient attention E(Q,K,V) = ...에서 rho_q와 rho_k를 정규화 함수(스케일링 또는 softmax)로 정의한다.
• 스케일링 정규화 사용 시 E(Q,K,V) = D(Q,K,V)임을 증명한다.
• 입력을 평탄화하고 잔차 연결과 함께 메커니즘을 적용하는 방식으로 비전 데이터에 대한 구현 세부 정보를 제공한다.
• K를 d_k 템플릿 attention 맵으로 간주하고 각 위치에서 Q 계수들이 결합하는 글로벌 컨텍스트 벡터를 형성하는 해석을 제시한다.

실험 결과

연구 질문

• RQ1 Efficient attention이 자원 사용을 줄이면서도 표준 dot-product attention과 동일한 표현력을 달성할 수 있는가?
• RQ2 정규화의 선택(스케일링 대 softmax)이 동등성 및 정확도에 어떤 영향을 미치는가?
• RQ3 고해상도 비전 모델에 efficient attention을 통합할 때 메모리, 계산 및 정확도에서의 실질적 이점은 무엇인가?

주요 결과

• Efficient attention은 scaling normalization 하에서 dot-product attention과 일치하고 softmax 하에서는 근사적으로 근접하며, 실험적 정확도가 보존된다.
• 메모리와 계산은 입력 크기에 대해 선형으로 확장되며, 기존 dot-product attention의 이차적 비용과 반대된다, 고해상도 사용을 가능하게 한다.
• MS-COCO에서 efficient attention은 우수한 성능-비용 트레이드오프를 제공하고 비메모리 제약 위치에서 비지역(non-local) 모듈이 실패하는 경우를 가능하게 한다.
• Efficient attention은 Stereo 깊이 추정(Scene Flow)에서 강한 향상을 제공하여 비지역 버전에 비해 훨씬 적은 메모리를 사용하면서도 최신 성능을 달성한다.
• 절개 연구는 정규화 방법과 키 차원이 성능에 미치는 영향이 제한적임을 보여주어 자원 절약 구성을 가능하게 한다.