[논문 리뷰] AttentionNAS: Spatiotemporal Attention Cell Search for Video Classification

Xiaofang Wang, Xuehan Xiong외 6명|arXiv (Cornell University)|2020. 07. 23.

Advanced Neural Network Applications참고 문헌 42인용 수 7

한 줄 요약

이 논문은 영상 분류를 위한 공간시적 주의(cell)를 자동으로 탐지하는 신경망 아키텍처 탐색 프레임워크인 AttentionNAS를 제안한다. 맵 기반 및 도트곱 주의 연산에 대해 미분 가능(fair-derivable)한 탐색 공간을 도입함으로써, I3D 및 S3D 기반 모델의 성능을 Kinetics-600 및 MiT에서 2% 이상 향상시키는 주의 셀을 발견한다. 이는 비국소 블록을 능가하며, 다양한 모odal, 백본, 데이터셋 간 일반화 능력을 보인다.

ABSTRACT

Convolutional operations have two limitations: (1) do not explicitly model where to focus as the same filter is applied to all the positions, and (2) are unsuitable for modeling long-range dependencies as they only operate on a small neighborhood. While both limitations can be alleviated by attention operations, many design choices remain to be determined to use attention, especially when applying attention to videos. Towards a principled way of applying attention to videos, we address the task of spatiotemporal attention cell search. We propose a novel search space for spatiotemporal attention cells, which allows the search algorithm to flexibly explore various design choices in the cell. The discovered attention cells can be seamlessly inserted into existing backbone networks, e.g., I3D or S3D, and improve video classification accuracy by more than 2% on both Kinetics-600 and MiT datasets. The discovered attention cells outperform non-local blocks on both datasets, and demonstrate strong generalization across different modalities, backbones, and datasets. Inserting our attention cells into I3D-R50 yields state-of-the-art performance on both datasets.

연구 동기 및 목표

• 영상 분류에서 컨볼루션 연산의 한계, 즉 고정된 수신장과 장거리 의존성 모델링 불가능성 문제를 해결하기 위해.
• 기존 영상 백본 네트워크에 원활하게 통합될 수 있는 원칙적이고 자동화된 주의 셀 설계 방법을 개발하기 위해.
• 주의 메커니즘의 차원성(시간, 공간, 또는 공간시적)과 조합 방식을 포함한 공간시적 주의 연산의 설계 공간을 탐색하기 위해.
• 발견된 주의 셀이 다양한 모달(예: RGB에서 옵티컬 플로우로), 백본(예: I3D에서 S3D로), 데이터셋(예: MiT에서 Kinetics-600으로) 간 일반화될 수 있도록 하기 위해.

제안 방법

• 맵 기반 주의와 도트곱(자기주의) 주의의 두 가지 기본 주의 연산을 사용한 공간시적 주의 셀을 위한 새로운 탐색 공간을 제안한다.
• 탐색 공간의 미분 가능 공식화를 도입하여, 백프로파게이션을 통한 엔드 투 엔드 학습을 가능하게 하여 네트워크 가중치와 주의 셀 아키텍처를 동시에 최적화한다.
• 계산 비용을 줄이기 위해 가우시안 프로세스 밴딧(Gaussian Process Bandit, GPB)과 미분 가능 NAS를 결합하여 효율적인 아키텍처 탐색을 수행한다.
• 미분 가능 공식화를 통해 각 레이어에 대해 별도의 아키텍처를 학습함으로써 위치별 특화 주의 셀 설계를 지원하며, 추가 비용 없이도 가능하다.
• 공간, 시간, 공간시적 차원에서 주의 연산의 유연한 조합을 허용하는 탐색 공간을 사용한다.
• I3D 및 S3D와 같은 기존 백본에 아키텍처 수정 없이 발견된 주의 셀을 삽입함으로써 플러그 앤 플레이 성능 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처 탐색이 컨볼루션 셀을 넘어서 영상 분류를 위한 최적의 주의 기반 셀을 탐색할 수 있는가?
• RQ2 공간시적 주의 연산의 설계 공간을 체계적으로 탐색하여 영상 이해 모델의 성능을 향상시킬 수 있는가?
• RQ3 RGB 프레임에서 탐색된 주의 셀이 재학습 없이도 옵티컬 플로우 모달로 효과적으로 일반화될 수 있는가?
• RQ4 S3D에서 탐색된 주의 셀이 다른 백본(예: I3D)이나 더 깊은 변종(예: I3D-R50)으로도 잘 일반화되는가?
• RQ5 MiT에서 탐색된 주의 셀이 Kinetics-600으로 일반화되며, 반대로도 마찬가지로 성능 향상이 이루어지는가?

주요 결과

• 미분 가능 탐색 방법은 I3D 및 S3D 백본을 Kinetics-600 및 MiT 데이터셋에서 각각 2% 이상 향상시킨다.
• 위치별 특화 주의 셀은 위치 무관 설계보다 일관되게 뛰어난 성능을 보이며, 공간적 및 시간적 맥락 인식 주의의 이점을 입증한다.
• RGB 프레임에서 탐색된 셀은 옵티컬 플로우 모달로 효과적으로 일반화되며, 탐색 과정에서 플로우 데이터를 전혀 사용하지 않았음에도 불구하고 I3D의 정확도를 Kinetics-600에서 5.67% 향상시킨다.
• S3D에서 탐색된 셀은 I3D 성능을 약 2% 향상시키며, I3D를 최적화하기 위해 설계된 바 없음에도 불구하고 강력한 백본 간 일반화 능력을 보인다.
• MiT에서 탐색된 셀은 Kinetics-600으로 일반화되어 2% 이상의 정확도 향상을 달성하며, 반대로도 마찬가지로 성능 향상이 이루어져, 강력한 데이터셋 간 전이 능력을 보여준다.
• I3D-R50에 최고로 발견된 주의 셀을 삽입함으로써, Kinetics-600(77.86% top-1)과 MiT(32.48% top-1)에서 모두 최신 기준 성능을 달성하며, RGB와 플로우를 모두 사용하는 AssembleNet-50를 능가한다.