[논문 리뷰] DAS: A Deformable Attention to Capture Salient Information in CNNs

Farzad Salajegheh, Nader Asadi외 2명|arXiv (Cornell University)|2023. 11. 20.

Advanced Neural Network Applications인용 수 7

한 줄 요약

DAS는 공간적 집중을 위해 변형 가능 컨볼루션과 효율성을 위해 깊이 분리형 컨볼루션을 조합함으로써 CNN의 성능을 향상시키는 경량이며 완전 컨볼루션형 주의 메커니즘을 제안한다. 이는 O(n) 계산 복잡도를 가지며, 이미지 분류 및 객체 검출 작업 전반에서 주목할 만한 특징에 주의를 기울임으로써 최신 기술 수준의 성능을 달성하면서도 FLOP 증가가 최소화되고 백본 수정이 필요 없다.

ABSTRACT

Convolutional Neural Networks (CNNs) excel in local spatial pattern recognition. For many vision tasks, such as object recognition and segmentation, salient information is also present outside CNN's kernel boundaries. However, CNNs struggle in capturing such relevant information due to their confined receptive fields. Self-attention can improve a model's access to global information but increases computational overhead. We present a fast and simple fully convolutional method called DAS that helps focus attention on relevant information. It uses deformable convolutions for the location of pertinent image regions and separable convolutions for efficiency. DAS plugs into existing CNNs and propagates relevant information using a gating mechanism. Compared to the O(n^2) computational complexity of transformer-style attention, DAS is O(n). Our claim is that DAS's ability to pay increased attention to relevant features results in performance improvements when added to popular CNNs for Image Classification and Object Detection. For example, DAS yields an improvement on Stanford Dogs (4.47%), ImageNet (1.91%), and COCO AP (3.3%) with base ResNet50 backbone. This outperforms other CNN attention mechanisms while using similar or less FLOPs. Our code will be publicly available.

연구 동기 및 목표

• 고정된 커널 수신 영역 외부의 주목할 만한 정보를 캡처하는 데에 제한이 있는 CNN의 문제를 해결하기 위해.
• Transformer와 같이 계산 복잡도가 증가하지 않는 한계 없는 전역 주의를 CNN에 도입하기 위해.
• 기존 CNN에 최소한의 아키텍처 변경으로 통합 가능한 즉시 사용 가능한 주의 모듈을 개발하기 위해.
• 변형 가능 컨볼루션과 게이팅을 통해 임무 관련 영역에 집중함으로써 특징 표현을 향상시키기 위해.
• 새로운 주목할 만한 특징 탐지(sfd) 지표를 사용하여 주의 집중의 효과를 평가하기 위해.

제안 방법

• DAS는 메인 네트워크의 특징 맵과 변형 가능 컨볼루션 출력을 조합하는 게이팅 메커니즘을 통합하여 주목할 만한 영역을 강조한다.
• 깊이 분리형 컨볼루션을 사용하여 전역적 맥락을 효율적으로 모델링하면서도 낮은 FLOP 비용을 유지한다.
• 변형 가능 컨볼루션은 동적으로 샘플링 위치를 조정하여 관련 이미지 영역에 집중함으로써 공간적 주의를 향상시킨다.
• 주의 게이트의 강도를 제어하기 위해 단일 학습 가능한 초매개변수 α를 적용하여 튜닝이 용이하다.
• 각 잔차 블록 이후에 주의 게이트를 삽입함으로써 주목할 만한 특징에 조기에 지속적으로 집중할 수 있다.
• 아키텍처는 완전히 컨볼루션형이며 기존의 어떤 CNN 백본과도 호환되며 원래 네트워크를 수정할 필요가 없다.

실험 결과

연구 질문

• RQ1 경량이며 컨볼루션 기반의 주의 메커니즘이 계산 복잡도를 증가시키지 않으면서도 CNN의 특징 표현을 향상시킬 수 있는가?
• RQ2 변형 가능 컨볼루션과 깊이 분리형 컨볼루션을 조합함으로써 주목할 만한 이미지 영역에 더 효과적이고 효율적인 주의를 제공할 수 있는가?
• RQ3 기존의 CNN 주의 메커니즘과 비교할 때 표준 비전 벤치마크에서 성능과 FLOP 효율성 측면에서 DAS는 어떠한가?
• RQ4 gradCAM과 sfd 지표로 측정했을 때 DAS는 임무 관련 특징에 대한 주의 집중을 어느 정도 향상시키는가?
• RQ5 DAS는 일관된 성능 향상으로 인해 이미지 분류 및 객체 검출 작업에 효과적으로 적용될 수 있는가?

주요 결과

• ResNet-50에 DAS를 추가했을 때, Stanford Dogs에서 상위-1 정확도가 4.47% 향상되었고, ImageNet에서는 1.91% 향상되었다.
• COCO 객체 검출에서 DAS는 기본 ResNet-50 백본 대비 3.3% AP 향상을 달성했다.
• 주목할 만한 특징 탐지(sfd) 점수는 표준 ResNet-50의 0.59에서 DAS의 0.72로 상승하여 관련 특징에 대한 주의 집중이 강화됨을 나타낸다.
• ImageNet 이미지 100개의 무작위 샘플에서 DAS는 표준 ResNet의 0.47 대비 평균 sfd 점수 0.68를 기록했다.
• gradCAM 시각화 결과 DAS는 기준 ResNet에 비해 특히 더 깊은 블록(예: 블록 4)에서 관련 영역에 더 효과적으로 주의를 집중하는 것으로 나타났다.
• DAS는 O(n) 복잡도를 유지하면서도 O(n²) 복잡도를 가지는 트랜스포머 스타일의 주의 메커니즘보다 뚜렷하게 뛰어난 성능을 보이며, 유사하거나 더 적은 FLOPs를 사용한다.