[논문 리뷰] Visual Attention Methods in Deep Learning: An In-Depth Survey

Mohammed Hassanin, Saeed Anwar외 3명|arXiv (Cornell University)|2022. 04. 16.

Visual Attention and Saliency Detection인용 수 56

한 줄 요약

본 조사는 시각 분야를 위한 50가지 딥러닝 어텐션 기법을 포괄적으로 검토하고 이를 분류하며 이들의 빌딩 블록, 강점, 한계를 논의합니다.

ABSTRACT

Inspired by the human cognitive system, attention is a mechanism that imitates the human cognitive awareness about specific information, amplifying critical details to focus more on the essential aspects of data. Deep learning has employed attention to boost performance for many applications. Interestingly, the same attention design can suit processing different data modalities and can easily be incorporated into large networks. Furthermore, multiple complementary attention mechanisms can be incorporated into one network. Hence, attention techniques have become extremely attractive. However, the literature lacks a comprehensive survey on attention techniques to guide researchers in employing attention in their deep models. Note that, besides being demanding in terms of training data and computational resources, transformers only cover a single category in self-attention out of the many categories available. We fill this gap and provide an in-depth survey of 50 attention techniques, categorizing them by their most prominent features. We initiate our discussion by introducing the fundamental concepts behind the success of the attention mechanism. Next, we furnish some essentials such as the strengths and limitations of each attention category, describe their fundamental building blocks, basic formulations with primary usage, and applications specifically for computer vision. We also discuss the challenges and general open questions related to attention mechanisms. Finally, we recommend possible future research directions for deep attention. All the information about visual attention methods in deep learning is provided at \href{https://github.com/saeed-anwar/VisualAttention}{https://github.com/saeed-anwar/VisualAttention}

연구 동기 및 목표

• 연구자들이 트랜스포머를 넘는 시각 중심 어텐션 메커니즘의 광범위한 스펙트럼을 이해하도록 동기를 부여한다.
• 어떤 unified categorization(소프트, 하드, 멀티모달, 산술, 논리 등)과 매핑을 핵심 빌딩 블록에 제시한다.
• 컴퓨터 비전에서 어텐션 모듈의 기본 개념, 강점/제한점, 주요 활용 사례를 요약한다.
• 비전에서의 딥 어텐션의 도전 과제, 격차, 미래 연구 방향을 강조한다.

제안 방법

• 소프트(Deterministic) 어텐션, 하드(Stochastic) 어텐션, 멀티모달, 산술, 논리, 자동학습(auto-learning) approaches와 같은 지배적인 카테고리로 어텐션 메커니즘을 분류한다.
• 핵심 빌딩 블록과 기본 공식(예: 채널 어텐션, 공간 어텐션, 셀프-어텐션) 설명하고 대표 예시(SE, CBAM, ECA, DAN, A2-Nets 등)를 제공한다.
• 어텐션 점수는 softmax, sigmoid, 풀링, 또는 주파수 구성요소를 통해 계산되고 주의된 특징이 어떻게 통합되는지 설명한다.
• 트랜스포머 기반 셀프-어텐션과 비전의 여러 어텐션 유형 중 하나의 카테고리로서의 역할을 논의한다.
• 메모리/계산 트레이드오프 및 다양한 비전 작업에의 적용 가능성을 포함한 아키텍처적 및 계산적 고려사항을 논의한다.

Figure 1: Visual charts show the increase in the number of attention related papers in the top conferences including CVPR, ICCV, ECCV, NeurIPS, ICML, and ICLR.

실험 결과

연구 질문

• RQ1 비전 딥러닝에서 사용되는 지배적인 어텐션 메커니즘의 카테고리는 무엇인가?
• RQ2 각 어텐션 카테고리의 강점, 한계 및 핵심 빌딩 블록은 무엇인가?
• RQ3 어텐션 기법이 인식, 세분화, 탐지 등 일반적인 컴퓨터 비전 작업에 어떤 영향을 미치는가?
• RQ4 트랜스포머 기반 접근을 넘어 비전에서 딥 어텐션을 적용하는 데 있어 도전과제 및 미해결 질문은 무엇인가?
• RQ5 비전에서 딥 어텐션 방법을 발전시킬 수 있는 향후 연구 방향은 무엇인가?

주요 결과

• 비전의 어텐션 메커니즘은 다양하며 자기 주의 및 트랜스포머를 넘어 여러 카테고리로 그룹화될 수 있다.
• 채널 어텐션, 공간 어텐션, 그리고 셀프-어텐션은 서로 다른 강점과 한계를 가진 핵심 소프트 어텐션 하위 유형을 이룬다.
• 트랜스포머 기반 셀프-어텐션은 50가지 조사된 어텐션 기법 중의 한 하위 집합에 불과하며 계산 및 데이터 측면에서 비용이 많이 들 수 있다.
• 하이브리드 및 다분기점 어텐션 모듈(A2-Nets, DAN, Harmonious Attention 등)은 고차원 또는 교차 특징 상호작용을 포착할 수 있다.
• 2차 통계, 주파수 도메인 구성요소, 자동 학습 아키텍처를 활용하는 등의 디자인 추세가 어텐션을 강화한다.
• 설문은 연구 격차를 식별하고 비전에서의 로버스트하고 효율적이며 일반화 가능한 딥 어텐션을 위한 향후 방향을 제시한다.

Figure 3: Core structures of the channel-based attention methods. Different methods to generate the attention scores including squeeze and excitation [ 26 ] , splitting and squeezing [ 23 ] , calculating the second order [ 37 ] or efficient squeezing and excitation [ 22 ] . Images are taken from the