[논문 리뷰] Neural Attention Models in Deep Learning: Survey and Taxonomy

Alana de Santana Correia, Esther Luna Colombini|arXiv (Cornell University)|2021. 12. 11.

EEG and Brain-Computer Interfaces인용 수 10

한 줄 요약

이 논문은 심리학 및 신경과학 분야의 딥러닝 이전 이론에 기반한 딥러닝 내 신경망 주의 모델에 대한 종합적 서베이와 분류 체계를 제시한다. 고전적 연구에서 유도된 17개의 기준을 바탕으로 51개의 주요 주의 모델을 분석하여 주의 메커니즘을 이해하기 위한 체계적 프레임워크를 제공하며, 특히 생물학적 타당성과 하이브리드 상향식/하향식 주의의 측면에서 연구 격차를 드러내고 향후 분야 발전을 이끌 가이드라인을 제시한다.

ABSTRACT

Attention is a state of arousal capable of dealing with limited processing bottlenecks in human beings by focusing selectively on one piece of information while ignoring other perceptible information. For decades, concepts and functions of attention have been studied in philosophy, psychology, neuroscience, and computing. Currently, this property has been widely explored in deep neural networks. Many different neural attention models are now available and have been a very active research area over the past six years. From the theoretical standpoint of attention, this survey provides a critical analysis of major neural attention models. Here we propose a taxonomy that corroborates with theoretical aspects that predate Deep Learning. Our taxonomy provides an organizational structure that asks new questions and structures the understanding of existing attentional mechanisms. In particular, 17 criteria derived from psychology and neuroscience classic studies are formulated for qualitative comparison and critical analysis on the 51 main models found on a set of more than 650 papers analyzed. Also, we highlight several theoretical issues that have not yet been explored, including discussions about biological plausibility, highlight current research trends, and provide insights for the future.

연구 동기 및 목표

• 딥러닝 내 주요 신경망 주의 모델을 딥러닝 이전의 인지과학 이론에 뿌리를 두고 이론적 관점에서 비판적으로 분석하는 것.
• 고전적 심리학 및 신경과학 연구에서 유도된 17개의 기준에 기반한 주의 메커니즘의 분류 체계를 수립하는 것.
• 이론적으로 기반된 프레임워크를 통해 기존 주의 메커니즘을 체계화하여 이해하는 것.
• 특히 생물학적 타당성, 하이브리드 주의(상향식 및 하향식), 기억 통합 측면에서 미개척된 연구 방향을 규명하는 것.
• 다중모odal 및 자기지도 학습 환경에서 주의 모델링의 핵심 이론적·실용적 격차를 부각시켜 향후 연구를 이끌 가이드라인을 제공하는 것.

제안 방법

• 딥러닝 내 영향력 있는 51개의 주요 주의 모델을 식별하고 분석하기 위해 650편 이상의 논문을 체계적으로 검토한 서베이를 수행하였다.
• 심리학 및 신경과학 분야의 기초 연구에서 유도된 17개의 기준(선택성, 모odal성, 제어 방식, 시간 역동성 등)을 바탕으로 분류 체계를 제안하였다.
• 분류 체계를 활용해 주의 모델을 질적 비교 평가하였으며, 인간 주의 메커니즘과의 이론적 일관성을 중심으로 분석하였다.
• 트랜스포머, RNN, CNN, 그래프 신경망 등 다양한 아키텍처를 통해 주의 메커니즘의 인지 원칙과의 일치성을 평가하였다.
• 현재 모델의 한계를 규명하였으며, 하향식 주의의 부재, 외부 기억 시스템과의 충분한 통합 부족, 약한 하이브리드 주의 메커니즘 등이 포함되었다.
• 신경생리학적 증거에 영감을 받아 상향식과 하향식 주의 간의 반복적 상호작용을 강조함으로써 향후 모델 설계를 위한 프레임워크를 제공하였다.

실험 결과

연구 질문

• RQ1 기존의 딥러닝 내 신경망 주의 모델은 심리학 및 신경과학 분야의 이론적·실험적 발견과 얼마나 일치하는가?
• RQ2 주의 메커니즘 간의 핵심적인 구조적·기능적 차이는 무엇이며, 어떻게 체계적으로 분류할 수 있는가?
• RQ3 현재 주의 모델은 상향식 및 하향식 제어 메커니즘 측면에서 얼마나 생물학적으로 타당한가?
• RQ4 특히 에피소딕 기억, 워킹 기억, 의미 기억을 포함한 외부 기억 시스템의 통합이 왜 주의 기반 딥러닝 모델에서 여전히 미흡한가?
• RQ5 반복적으로 상향식 및 하향식 영향력을 통합하는 하이브리드 주의 모델은 인지 및 의사결정 과제에서 성능을 어떻게 향상시킬 수 있는가?

주요 결과

• 서베이에서 트랜스포머, RNN, CNN, 그래프 신경망 등 다양한 아키텍처를 포함해 총 51개의 주요 신경망 주의 모델을 규명하였다.
• 많은 주의 모델이 특성 통합 이론 및 스폟라이트 모델과 같은 고전적 주의 이론과 일치하며, 특히 선택적 처리 및 모달리티별 주의 측면에서 유사성을 보였다.
• 강력한 이론적 및 신경생리학적 근거에도 불구하고, 하향식 주의 메커니즘을 통합한 모델은 소수에 그쳤다.
• 상향식 및 하향식 주의를 모두 통합하는 하이브리드 모델은 흔치 않으며, 유일하게 신경망 트랜스포머와 BRIMs가 이 분야에서 상당한 진전을 이룬 것으로 나타났다.
• 외부 기억 통합은 여전히 미흡하며, 대부분의 모델이 과거에 획득한 지식을 재사용하거나 체계적으로 정리하지 않고 현재 입력에만 집중하고 있다.
• 상향식과 하향식 주의 메커니즘 간의 반복적 상호작용 부재로 인해 동적 또는 모호한 환경에서 모델의 적응력이 제한되며, 이는 핵심 연구 격차로 지적되었다.