[논문 리뷰] Factorized Attention: Self-Attention with Linear Complexities.

Zhuoran Shen, Mingyuan Zhang외 3명|arXiv (Cornell University)|2018. 12. 04.

Advanced Neural Network Applications참고 문헌 17인용 수 12

한 줄 요약

이 논문은 입력 크기와 함께 메모리와 계산량이 제곱에서 선형 성장으로 감소하는 표준 내적 어텐션의 선형 복잡도 대체 방법인 Factorized Attention를 제안한다. 자기어텐션을 공간적 및 채널별 성분으로 분해함으로써 고해상도 모델에 효율적으로 통합할 수 있게 되었으며, MS-COCO 및 Scene Flow 벤치마크에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Dot-product attention has wide applications in computer vision and natural language processing. However, its memory and computational costs grow quadratically with the input size. Such growth prohibits its application on high-resolution inputs. To remedy this drawback, this paper proposes a novel efficient attention mechanism equivalent to dot-product attention but with substantially less memory and computational costs. Its resource efficiency allows more widespread and flexible integration of attention modules into a network, which leads to better accuracies. Empirical evaluations demonstrated the effectiveness of its advantages. Efficient attention modules brought significant performance boosts to object detectors and instance segmenters on MS-COCO 2017. Further, the resource efficiency democratizes attention to complex models, where high costs prohibit the use of dot-product attention. As an exemplar, a model with efficient attention achieved state-of-the-art accuracies for stereo depth estimation on the Scene Flow dataset. Code is available at this https URL.

연구 동기 및 목표

• 비전 및 NLP 모델에서 표준 내적 어텐션의 제곱 복잡도 메모리 및 계산 비용을 해결한다.
• 자원 제약으로 인해 표준 어텐션을 사용하기 어려운 고해상도 입력에서 어텐션 메커니즘의 사용을 가능하게 한다.
• 성능를 유지하면서 계산 및 메모리 오버헤드를 크게 줄이는 효율적인 어텐션 메커니즘을 설계한다.
• 자원 소모를 줄여 복잡한 모델에서 어텐션 모듈에 대한 접근을 보다 폭넓게 확산시킨다.
• 다양한 비전 작업, 특히 객체 검출, 인스턴스 세그멘테이션 및 스테레오 깊이 추정에서 제안된 메커니즘이 효과적인지 입증한다.

제안 방법

• 표준 내적 자기어텐션을 두 단계의 순차적 구성요소로 분해한다: 공간 어텐션과 채널별 어텐션.
• 특징 맵을 기반으로 공간 어텐션을 적용하여 공간적 위치 간의 어텐션 가중치를 계산한다.
• 공간 집계 이후 채널 간 어텐션을 적용한다.
• 전체 어텐션 계산을 두 개의 선형 시간 연산으로 분해하여 입력 길이 n에 대해 복잡도를 O(n²)에서 O(n)으로 감소시킨다.
• 표준 어텐션의 표현 능력을 유지하면서도 상당한 효율성 향상을 달성한다.
• 기존 아키텍처에 최소한의 아키텍처 변경으로 인해 요소 어텐션 모듈을 통합한다.

실험 결과

연구 질문

• RQ1 자기어텐션을 재구성하여 성능를 유지하면서 복잡도를 선형으로 줄일 수 있는가?
• RQ2 요소 어텐션에서 얻는 효율성 향상이 고해상도 입력에서 모델 정확도 향상에 얼마나 기여하는가?
• RQ3 제안된 메커니즘이 표준 내적 어텐션보다 너무 비용이 많이 드는 모델에서 어텐션 사용을 가능하게 할 수 있는가?
• RQ4 요소 어텐션 메커니즘이 하류 비전 작업에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 제안된 Factorized Attention 메커니즘은 메모리 및 계산 복잡도를 O(n²)에서 O(n)으로 줄여 고해상도 입력에서의 효율적 사용을 가능하게 하였다.
• 효율적인 어텐션 모듈을 사용한 객체 검출기 및 인스턴스 세그멘테이터가 MS-COCO 2017에서 상당한 성능 향상을 달성하였다.
• Factorized Attention를 통합한 모델이 Scene Flow 데이터셋에서 스테레오 깊이 추정 작업에서 최신 기술 수준의 정확도를 달성하였다.
• 효율성 향상 덕분에 이전에는 표준 내적 어텐션을 감당할 수 없었던 복잡한 아키텍처에 어텐션 모듈을 넓게 통합할 수 있게 되었다.
• 실험적 평가를 통해 요소화된 메커니즘이 자원 소비를 크게 줄이면서도 경쟁력 있는 성능를 유지하는 것으로 확인되었다.