[논문 리뷰] Switchable Self-attention Module

Shanshan Zhong, Wushao Wen외 1명|arXiv (Cornell University)|2022. 09. 13.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 입력 특징에 기반해 여러 개의 어텐션 연산자(예: FC, CNN, IE)를 동적으로 선택하고 통합하는 스위치 가능한 흥분 모듈(Switchable Excitation Module, SEM)을 제안한다. 이는 합성곱 신경망에서 채널 기반 특징 재교정을 향상시키는 데 기여한다. SEM은 CIFAR-10과 CIFAR-100에서 최신 기준 성능을 달성하며, ResNet362 대비 최대 7.31%의 Top-1 정확도 향상을 보이며, 네트워크 깊이와 다양한 환경에서 뛰어난 적응성과 일반화 능력을 입증한다.

ABSTRACT

Attention mechanism has gained great success in vision recognition. Many works are devoted to improving the effectiveness of attention mechanism, which finely design the structure of the attention operator. These works need lots of experiments to pick out the optimal settings when scenarios change, which consumes a lot of time and computational resources. In addition, a neural network often contains many network layers, and most studies often use the same attention module to enhance different network layers, which hinders the further improvement of the performance of the self-attention mechanism. To address the above problems, we propose a self-attention module SEM. Based on the input information of the attention module and alternative attention operators, SEM can automatically decide to select and integrate attention operators to compute attention maps. The effectiveness of SEM is demonstrated by extensive experiments on widely used benchmark datasets and popular self-attention networks.

연구 동기 및 목표

• 모든 네트워크 레이어에 동일한 고정된 어텐션 연산자를 사용하는 데서 비롯하는 한계를 해결하여, 다양한 환경에서 최적의 성능을 달성하지 못하는 문제를 해결한다.
• 다양한 네트워크 깊이와 데이터셋에서 최적의 어텐션 구성 설정을 수작업으로 탐색하는 데 소요되는 높은 계산 비용과 시간 문제를 해결한다.
• 입력 기반 기준에 따라 여러 흥분 연산자(예: FC, ECA, IE)를 자동으로 동적으로 선택하고 통합함으로써 특징 재교정을 향상시키는 것을 목표로 한다.
• 학습 가능한 스위칭 메커니즘을 도입하여 정규화 효과를 부여함으로써 모델의 일반화 능력을 향상시키고 과적합을 줄인다.
• 표준 비전 벤치마크에서 깊이가 깊고 浅인 백본 네트워크(ResNet47에서 ResNet362까지) 전반에 걸쳐 일관된 성능 향상을 입증한다.

제안 방법

• 입력 특징 맵을 입력으로 받아, 사전 정의된 흥분 연산자 집합(예: 완전 연결, 1D 컨볼루션, 인스턴스 향상)을 병렬로 적용하는 스위치 가능한 흥분 모듈(SEM)을 설계한다.
• 입력 특징에 기반해 각 흥분 연산자에 대한 어텐션 가중치를 계산하기 위해 학습 가능한 결정 모듈을 사용하며, 이를 미분 가능한 게이팅 메커니즘 기반으로 구현한다.
• 결정 모듈의 출력에 Sigmoid 활성화 함수를 적용하여 소프트 어텐션 가중치를 생성함으로써 각 연산자의 기여도를 결정한다.
• 결정 모듈이 동적으로 예측한 가중치를 기반으로 모든 흥분 연산자의 출력을 가중합으로 통합한다.
• 전체 네트워크를 엔드 투 엔드로 훈련하며, 결정 모듈은 입력에 따라 가장 효과적인 연산자 조합을 선택하도록 공동 최적화된다.
• 모듈러 구조와 플러그 앤 플레이 설계를 통해 기존 CNN 아키텍처에 수정 없이 쉽게 삽입할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다양한 네트워크 레이어가 동일한 유형의 흥분 연산자를 사용하는 대신, 서로 다른 종류의 흥분 연산자를 각각 유리하게 활용할 수 있는가?
• RQ2 다양한 어텐션 연산자를 동적 선택 메커니즘을 통해 조합하는 것이 단일 연산자를 사용하는 것보다 성능 향상에 기여하는가?
• RQ3 제안된 스위치 가능한 메커니즘이 입력 콘텐츠와 네트워크 깊이에 따라 가장 효과적인 연산자(들)를 적응적으로 선택할 수 있는가?
• RQ4 동적 스위칭 메커니즘이 정규화 효과를 제공하여 특히 데이터가 적은 환경에서 과적합을 줄이는 데 기여하는가?
• RQ5 다양한 백본 깊이(예: ResNet47에서 ResNet362까지)와 데이터셋(CIFAR-10, CIFAR-100)에서 스위치 가능한 모듈의 성능는 어떻게 스케일링되는가?

주요 결과

• SEM을 ResNet362에 적용했을 때, CIFAR-100에서 Top-1 정확도가 70.41%에서 77.72%로 2.00% 절대 향상되었다.
• ResNet164에서 SEM은 CIFAR-10에서 1.72% 향상되었고, CIFAR-100에서는 2.43% 향상되어 다양한 깊이에서 일관된 성능 향상을 보였다.
• SEM의 성능은 앙상블 내 흥분 연산자의 수(N)가 증가함에 따라 향상된다: CIFAR-100에서 N=1일 때 75.28%에서 N=3일 때 76.76%로 상승했다.
• 결정 모듈을 제거하고 가중치를 1로 고정했을 때, CIFAR-100에서 Top-1 정확도가 0.47% 감소하여 동적 스위칭 메커니즘의 효과를 확인했다.
• 결정 모듈에서 Sigmoid 활성화 함수를 사용할 경우 최고의 성능(76.76% on CIFAR-100)을 기록했고, ReLU와 LeakyReLU는 성능이 열 劣하므로 비선형성 유형에 민감함을 시사한다.
• 데이터 증강 없이도 SEM은 CIFAR-10에서 89.58%의 Top-1 정확도를 달성하여 ResNet164(87.18%)와 SENet(88.24%)를 모두 초월했으며, 이는 정규화 효과를 나타낸다.