[논문 리뷰] Attention, please! A survey of Neural Attention Models in Deep Learning

Alana de Santana Correia, Esther Luna Colombini|arXiv (Cornell University)|2021. 03. 31.

EEG and Brain-Computer Interfaces인용 수 6

한 줄 요약

이 종합적 서베이는 2014년에서 2021년까지의 핵심 논문 650편을 분석하여 딥러닝 내 신경망 주의 메커니즘에 대한 체계적인 분석을 제공한다. 컨volutional 네트워크(CNNs), 순환 네트워크(RNNs), 생성 모델에서의 주의의 핵심 응용을 규명하고, 주의 사용의 체계적 분류 체계를 수립하며, 모델의 해석 가능성 향상에서 주의의 역할을 강조한다. 또한, 분야 내 문헌 조사에 대한 자동화되고 재현 가능한 방법론을 기반으로 향후 연구 방향을 제안한다.

ABSTRACT

In humans, Attention is a core property of all perceptual and cognitive operations. Given our limited ability to process competing sources, attention mechanisms select, modulate, and focus on the information most relevant to behavior. For decades, concepts and functions of attention have been studied in philosophy, psychology, neuroscience, and computing. For the last six years, this property has been widely explored in deep neural networks. Currently, the state-of-the-art in Deep Learning is represented by neural attention models in several application domains. This survey provides a comprehensive overview and analysis of developments in neural attention models. We systematically reviewed hundreds of architectures in the area, identifying and discussing those in which attention has shown a significant impact. We also developed and made public an automated methodology to facilitate the development of reviews in the area. By critically analyzing 650 works, we describe the primary uses of attention in convolutional, recurrent networks and generative models, identifying common subgroups of uses and applications. Furthermore, we describe the impact of attention in different application domains and their impact on neural networks' interpretability. Finally, we list possible trends and opportunities for further research, hoping that this review will provide a succinct overview of the main attentional models in the area and guide researchers in developing future approaches that will drive further improvements.

연구 동기 및 목표

• 다양한 도메인에서 딥러닝 내 신경망 주의 메커니즘에 대한 종합적이고 체계적인 리뷰를 제공하기 위해.
• 컨volutional, 순환, 생성형 신경망에서 주의의 주요 용도를 식별하고 분류하기 위해.
• 실제 응용 분야에서 주의가 모델의 해석 가능성과 성능에 미친 영향을 분석하기 위해.
• 주의 연구 분야의 문헌 조사를 위한 자동화되고 재현 가능한 방법론을 개발하고 공개하기 위해.
• 주의 기반 딥러닝 모델 분야에서의 열린 과제와 향후 연구 방향을 규명하기 위해.

제안 방법

• 저자들은 arXiv, IEEE Xplore, ACL, NeurIPS, ICML, CVPR 등의 주요 머신러닝 데이터베이스에서 18,257편의 논문을 수집하기 위해 파이썬 스크립트를 사용하여 2014–2019년과 2019–2021년의 두 단계 검색을 수행하였다.
• 세 단계의 필터링 전략을 적용: (1) 일반적인 주의 용어, (2) 딥러닝 전용 용어, (3) 특정 주의 메커니즘(예: 자기주의, 트랜스포머, 공통주의).
• 초기 초록 품질, 인용 수 기준, 비딥러닝 논문(예: 시각적 주의, 주목성, 눈동자 추적)의 수동 제외를 통해 추가 필터링을 수행하였다.
• 총 6,567편의 논문을 정량적 분석에 사용하였고, 인용 빈도와 관련성 기반으로 650편을 정성적 핵심 리뷰 대상으로 선정하였다.
• 저자들은 주의 문헌 조사를 위한 재현 가능하고 자동화된 파이프라인을 개발하였으며, GitHub에 공개하여 향후 분야 내 체계적 리뷰를 지원하였다.
• 분석은 여섯 가지 핵심 주제를 중심으로 구성되었음: 주의의 용도, 주의 메커니즘, 응용, 해석 가능성, 추세, 과제.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 컨volutional, 순환, 생성형 신경망에서 주로 어떻게 적용되는가?
• RQ2 주의가 다양한 딥러닝 응용 분야에서 모델의 해석 가능성과 성능에 어떻게 기여했는가?
• RQ3 가장 영향력 있는 주의 메커니즘과 아키텍처는 무엇이며, 2014년에서 2021년 사이에 어떻게 진화해왔는가?
• RQ4 NLP, 컴퓨터 비전, 다중모odal 학습 등 다양한 도메인에서 주의 응용의 공통된 하위군은 무엇인가?
• RQ5 주의 기반 딥러닝 모델 분야에서의 주요 열린 과제와 향후 연구 방향은 무엇인가?

주요 결과

• 서베이에서는 딥러닝 내 주의에 관한 650편의 영향력 있는 논문을 규명하였으며, 주로 NLP, 컴퓨터 비전, 다중모달 학습 분야에 집중되어 있다.
• 자기주의와 트랜스포머 기반 모델이 주로 사용되며, 특히 시퀀스 모델링과 번역 작업에서 뚜렷한 우월성을 보이며, 장기적 맥락 처리에서 RNN보다 뛰어난 성능을 보였다.
• 주의 메커니즘은 관련 입력 특징을 강조함으로써 모델의 추론 과정을 시각화할 수 있도록 하여 모델의 해석 가능성에 상당한 기여를 하였다.
• 계층적 주의와 공통주의 메커니즘은 시각질문응답, 이미지 캡션 생성과 같은 다중모달 작업에서 널리 사용되어 다중모달 간의 정렬을 향상시켰다.
• 생성 모델(예: VAE, GAN, 확산 모델)에 주의를 통합함으로써 특징 표현과 생성 품질이 향상되었으며, 특히 조건부 생성에서 두드러진 효과를 보였다.
• 저자들은 주의 메커니즘이 이제는 특수한 구성 요소가 아니라 다양한 도메인의 최첨단 딥러닝 시스템에서 핵심적인 구성 요소로 자리 잡았음을 입증하였다.