[논문 리뷰] Salient Positions based Attention Network for Image Classification

Sheng Fang, Kaiyu Li외 1명|arXiv (Cornell University)|2021. 06. 09.

Visual Attention and Saliency Detection참고 문헌 23인용 수 4

한 줄 요약

이 논문은 전역 자기주의 어텐션의 계산 비용과 메모리 사용을 줄이기 위해 어텐션 계산에 사용할 핵심 특징 맵 위치만 선택하는 색다른 위치 기반 어텐션 네트워크인 SPANet을 제안한다. 비국소 블록처럼 모든 공간 위치에 주목하는 대신, SPANet는 채널별 제곱 특징 크기를 사용해 색다른 위치를 식별함으로써 효율적이고 집중적인 문맥 모델링을 가능하게 하며, 이미지 분류 벤치마크에서 향상된 정확도를 달성한다.

ABSTRACT

The self-attention mechanism has attracted wide publicity for its most important advantage of modeling long dependency, and its variations in computer vision tasks, the non-local block tries to model the global dependency of the input feature maps. Gathering global contextual information will inevitably need a tremendous amount of memory and computing resources, which has been extensively studied in the past several years. However, there is a further problem with the self-attention scheme: is all information gathered from the global scope helpful for the contextual modelling? To our knowledge, few studies have focused on the problem. Aimed at both questions this paper proposes the salient positions-based attention scheme SPANet, which is inspired by some interesting observations on the attention maps and affinity matrices generated in self-attention scheme. We believe these observations are beneficial for better understanding of the self-attention. SPANet uses the salient positions selection algorithm to select only a limited amount of salient points to attend in the attention map computing. This approach will not only spare a lot of memory and computing resources, but also try to distill the positive information from the transformation of the input feature maps. In the implementation, considering the feature maps with channel high dimensions, which are completely different from the general visual image, we take the squared power of the feature maps along the channel dimension as the saliency metric of the positions. In general, different from the non-local block method, SPANet models the contextual information using only the selected positions instead of all, along the channel dimension instead of space dimension. Our source code is available at https://github.com/likyoo/SPANet.

연구 동기 및 목표

• 비전 트랜스포머와 비국소 네트워크에서 전역 자기주의 어텐션으로 인한 높은 계산 비용과 메모리 사용을 해결하기 위해.
• 자기주의 어텐션에서 전체 전역 문맥이 표현 학습에 실제로 유익한가를 조사하기 위해.
• 가장 정보가 많은 특징 위치에만 집중하는 더 효율적인 어텐션 메커니즘을 개발하기 위해.
• 특징 맵의 색다른 공간 위치에 집중함으로써 정확도를 희생시키지 않고 모델의 효율성을 향상시키기 위해.

제안 방법

• 채널 차원을 따라 제곱 L2 노름을 기반으로 특징 맵의 핵심 위치를 식별하는 색다른 위치 선택 알고리즘을 도입한다.
• 색다름은 각 공간 위치당 채널 활성화의 제곱합으로 계산되며, 높은 활성화 에너지를 가진 영역을 부각시킨다.
• 오직 상위-k 색다른 위치만 어텐션 계산에 사용되며, 이는 전체 자기주의 어텐션에 비해 쿼리 및 키의 수를 크게 줄인다.
• 어텐션은 오직 이 선택된 위치들 위에서만 계산되며, FLOPs와 메모리 소비를 감소시키면서도 중요한 문맥 정보를 유지한다.
• 전통적인 비국소 블록과 달리, 이 방법은 공간 차원이 아닌 채널 차원을 따라 작동한다.
• 표준 CNN 또는 비전 트랜스포머 백본에 통합되어 이미지 분류 작업에서 엔드 투 엔드 학습이 가능하다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 비전 모델의 자기주의 어텐션 계산 비용을 줄일 수 있는가?
• RQ2 특징 맵의 어떤 공간 위치가 문맥 표현에 가장 크게 기여하는가?
• RQ3 모든 위치에 대한 전역 어텐션은 필수적인가, 아니면 희소한 부분집합으로도 유사한 성능을 달성할 수 있는가?
• RQ4 특징 맵에서 채널별 활성화 크기의 크기와 어텐션 중요도 사이에 어떤 상관관계가 있는가?
• RQ5 색다른 위치에만 집중함으로써 효율적이고 효과적인 어텐션 메커니즘을 설계할 수 있는가?

주요 결과

• SPANet는 표준 비국소 및 자기주의 어텐션 모듈에 비해 상당히 감소된 FLOPs와 메모리 사용량으로 ImageNet-1K에서 경쟁적인 정확도를 달성한다.
• 채널별 제곱 크기를 기반으로 한 색다른 위치 선택은 어텐션에 가장 정보가 많은 공간 위치를 효과적으로 식별한다.
• 모델은 파arameter 효율성과 추론 속도 측면에서 표준 비국소 블록을 능가하며, 상위-1 정확도를 유지하거나 향상시킨다.
• 실험 결과, 공간 위치의 약 10–20%에만 주목해도 전체 어텐션 메커니즘과 유사한 성능을 낼 수 있음을 확인했다.
• 제거 실험을 통해 채널별 제곱 노름이 어텐션 중요도에 대한 강력한 대체 지표임을 확인하였으며, 색다름 지표 설계의 타당성을 입증했다.