[논문 리뷰] GhostNetV2: Enhance Cheap Operation with Long-Range Attention

Yehui Tang, Kai Han외 4명|arXiv (Cornell University)|2022. 11. 23.

Advanced Neural Network Applications인용 수 277

한 줄 요약

GhostNetV2는 긴 범위 의존성을 포착하기 위해 하드웨어 친화적인 분리형 완전 연결(DFC) 어텐션 메커니즘을 도입하여 GhostNet을 강화하고, ImageNet에서 167 MFLOPs에서 75.3% top-1 정확도를 달성하며 GhostNetV1을 능가합니다.

ABSTRACT

Light-weight convolutional neural networks (CNNs) are specially designed for applications on mobile devices with faster inference speed. The convolutional operation can only capture local information in a window region, which prevents performance from being further improved. Introducing self-attention into convolution can capture global information well, but it will largely encumber the actual speed. In this paper, we propose a hardware-friendly attention mechanism (dubbed DFC attention) and then present a new GhostNetV2 architecture for mobile applications. The proposed DFC attention is constructed based on fully-connected layers, which can not only execute fast on common hardware but also capture the dependence between long-range pixels. We further revisit the expressiveness bottleneck in previous GhostNet and propose to enhance expanded features produced by cheap operations with DFC attention, so that a GhostNetV2 block can aggregate local and long-range information simultaneously. Extensive experiments demonstrate the superiority of GhostNetV2 over existing architectures. For example, it achieves 75.3% top-1 accuracy on ImageNet with 167M FLOPs, significantly suppressing GhostNetV1 (74.5%) with a similar computational cost. The source code will be available at https://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/ghostnetv2_pytorch and https://gitee.com/mindspore/models/tree/master/research/cv/ghostnetv2.

연구 동기 및 목표

• 모바일 기기에서 높은 정확도를 달성하며 효율적인 이미지 분류를 촉진한다.
• 배포 속도를 희생하지 않고 경량 백본의 표현력을 향상시킨다.
• 하드웨어 친화적 계산을 유지하면서 긴 범위 정보를 통합한다.
• 확장된 특징을 보강하기 위해 분리형 어텐션 메커니즘을 활용하여 GhostNet을 향상시킨다.

제안 방법

• 글로벌 수용영역을 생성하기 위해 수평 및 수직 구성 요소로 분해된 완전 연결 계층에 기반한 DFC 어텐션을 제안한다.
• DFC 계산을 줄이기 위해 특징을 절반 해상도로 다운샘플링하고, 최종 융합을 위해 원래 크기로 업샘플링한다.
• 확장된 Ghost 특징에 시그모이드 스케일 어텐션 맵을 곱하여 GhostNet 블록에 DFC 어텐션을 삽입한다.
• 출력 특징이 아니라 Ghost 모듈의 확장된 특징을 향상시켜 표현력을 높인다.
• 효율적인 하드웨어 친화적 계산을 위해 DFC 어텐션을 두 개의 depth-wise 합성곱(1xKH 및 KWx1)으로 구현한다.

실험 결과

연구 질문

• RQ1 하드웨어 친화적 긴 범위 어텐션 메커니즘이 모바일 기기의 경량 CNN 성능을 향상시킬 수 있는가?
• RQ2 DFC 어텐션을 통해 GhostNet의 확장된(표현력 있는) 특징을 향상시키는 것이 출력 특징만 향상시키는 것보다 더 큰 이득을 가져오는가?
• RQ3 DFC 어텐션을 GhostNet에 통합할 때 정확도와 실제 대기시간 간의 트레이드오프는 무엇인가?
• RQ4 이전 경량 백본과 비교하여 GhostNetV2는 ImageNet, COCO, ADE20K에서 어떻게 성능을 보이는가?

주요 결과

• GhostNetV2는 167 MFLOPs에서 ImageNet 상위 1% 정확도 75.3%를 달성하여 유사 비용의 GhostNetV1의 74.5%를 능가한다.
• DFC 어텐션은 모바일 하드웨어에서 일반 자기-어텐션보다 낮은 실질 지연으로 긴 범위 공간 모델링을 제공한다.
• DFC 어텐션으로 확장된 특징(표현력)을 향상시키면 출력 특징만 향상시키는 것보다 큰 이득(대략 top-1 1.4% 정도)을 얻는다.
• GhostNetV2는 COCO 객체 탐지 및 ADE20K 의미론적 분할을 포함한 다운스트림 작업에서 강력한 성능을 제공하며 GhostNetV1에 비해 두드러진 이득을 보인다.
• 실제 지연은 ARM 하드웨어에서 여전히 우호적이며(예: 167 MFLOPs에서 대략 37 ms, 비슷한 정확도일 때).