[논문 리뷰] On the Integration of Self-Attention and Convolution

Xuran Pan, Chunjiang Ge외 5명|arXiv (Cornell University)|2021. 11. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 9

한 줄 요약

이 논문은 동일한 1×1 컨볼루션 연산을 핵심 계산으로 공유함으로써 자기주의와 컨볼루션을 원활하게 통합하는 새로운 신경망 모듈인 ACmix를 제안한다. 이는 효율적인 병합 특징 학습을 가능하게 하며, 순수 자기주의 또는 컨볼루션 모델에 비해 최소한의 계산 오버헤드로 이미지 인식 및 객체 검출 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Convolution and self-attention are two powerful techniques for representation learning, and they are usually considered as two peer approaches that are distinct from each other. In this paper, we show that there exists a strong underlying relation between them, in the sense that the bulk of computations of these two paradigms are in fact done with the same operation. Specifically, we first show that a traditional convolution with kernel size k x k can be decomposed into k^2 individual 1x1 convolutions, followed by shift and summation operations. Then, we interpret the projections of queries, keys, and values in self-attention module as multiple 1x1 convolutions, followed by the computation of attention weights and aggregation of the values. Therefore, the first stage of both two modules comprises the similar operation. More importantly, the first stage contributes a dominant computation complexity (square of the channel size) comparing to the second stage. This observation naturally leads to an elegant integration of these two seemingly distinct paradigms, i.e., a mixed model that enjoys the benefit of both self-Attention and Convolution (ACmix), while having minimum computational overhead compared to the pure convolution or self-attention counterpart. Extensive experiments show that our model achieves consistently improved results over competitive baselines on image recognition and downstream tasks. Code and pre-trained models will be released at https://github.com/LeapLabTHU/ACmix and https://gitee.com/mindspore/models.

연구 동기 및 목표

• 기존 연구에서 간과되었던 자기주의와 컨볼루션 간의 기본적인 계산 유사성 발견
• 자기주의와 컨볼루션의 장점을 모두 활용하면서도 계산 비용을 두 배로 늘리지 않는 하이브리드 신경망 모듈 설계
• 자기주의와 컨볼루션 모듈을 결합할 때 일반적으로 발생하는 추론 및 훈련 오버헤드 감소
• 제안된 ACmix 모듈이 다양한 비전 벤치마크에서 순수 컨볼루션 또는 자기주의 모델보다 뛰어난 성능을 보임을 경험적으로 검증

제안 방법

• 표준 k×k 컨볼루션을 k²개의 개별 1×1 컨볼루션으로 분해한 후, 이동 및 합산 연산을 수행
• 자기주의의 쿼리, 키, 밸류 프로젝션을 다수의 1×1 컨볼루션으로 재해석하고, 동적 어텐션 가중치 계산 및 밸류 집계를 수행
• ACmix에서 자기주의 경로와 컨볼루션 경로 간에 동일한 1×1 컨볼루션 프로젝션을 공유함으로써 중복 계산 제거
• 학습 가능한 스케일링 파rameter α와 β를 사용하여 자기주의 경로와 컨볼루션 경로의 출력을 동적으로 조합함으로써 기능의 적응적 라우팅 가능
• 그룹 컨볼루션 또는 학습 가능한 커널을 활용해 이동 연산을 구현하여 집계 단계의 효율성과 유연성 유지
• 공유된 1×1 컨볼루션과 학습 가능한 α, β 파rameter를 함께 업데이트하는 엔드 투 엔드 최적화 방식으로 모델 훈련

실험 결과

연구 질문

• RQ1 기본 연산으로 분해했을 때 자기주의와 컨볼루션 간에 본질적인 계산 등가성이 존재하는가?
• RQ2 공유된 1×1 컨볼루션 연산이 자기주의 및 컨볼루션 모듈의 통합 배경으로서 기능할 수 있는가?
• RQ3 동일한 특징 프로젝션을 재사용하는 하이브리드 모듈이 별도의 자기주의 및 컨볼루션 모듈보다 더 높은 성능과 효율성을 달성할 수 있는가?
• RQ4 다양한 네트워크 깊이에서 자기주의와 컨볼루션의 상대 기여도는 어떻게 변화하는가?

주요 결과

• ACmix는 동일한 설정에서 ImageNet-1K에서 81.9%의 정확도를 기록하여, Swin-T(81.5%)와 Conv-Swin-T(81.4%)를 모두 초월한다.
• 제거 분석 결과, 경로를 조합하는 데 학습 가능한 파rameter α와 β를 사용할 경우 고정 비율이나 단일 경로 모델보다 더 뛰어난 성능을 달성한다.
• 그룹 컨볼루션 기반의 이동 모듈을 사용한 모델은 단일 RTX 2080Ti GPU에서 419 FPS의 높은 추론 효율성을 보였다.
• 학습된 α 및 β 파rameter의 시각화 결과, 초기 레이어에서는 컨볼루션이 지배적이며, 깊이가 깊어질수록 자기주의의 영향력이 증가하는 안정적인 선호 경향을 확인할 수 있었다.
• 모든 평가된 벤치마크와 설정에서 두 경로의 조합이 단일 모듈을 사용하는 모델보다 일관되게 뛰어난 성능을 보였다.
• 학습된 별도의 자기주의 및 컨볼루션 모듈에 비해 계산 오버헤드를 감소시키면서도 성능을 유지하거나 향상시켰다.