[논문 리뷰] RepGhost: A Hardware-Efficient Ghost Module via Re-parameterization

Chengpeng Chen, Zichao Guo외 3명|arXiv (Cornell University)|2022. 11. 11.

Advanced Neural Network Applications인용 수 31

한 줄 요약

RepGhost는 연결 기반 특성 재사용을 구조적 재매개화로 대체하여 하드웨어 친화적인 RepGhost 모듈과 RepGhostNet를 만들고 모바일 기기에서 정확도-지연을 향상시킵니다.

ABSTRACT

Feature reuse has been a key technique in light-weight convolutional neural networks (CNNs) architecture design. Current methods usually utilize a concatenation operator to keep large channel numbers cheaply (thus large network capacity) by reusing feature maps from other layers. Although concatenation is parameters- and FLOPs-free, its computational cost on hardware devices is non-negligible. To address this, this paper provides a new perspective to realize feature reuse implicitly and more efficiently instead of concatenation. A novel hardware-efficient RepGhost module is proposed for implicit feature reuse via reparameterization, instead of using concatenation operator. Based on the RepGhost module, we develop our efficient RepGhost bottleneck and RepGhostNet. Experiments on ImageNet and COCO benchmarks demonstrate that our RepGhostNet is much more effective and efficient than GhostNet and MobileNetV3 on mobile devices. Specially, our RepGhostNet surpasses GhostNet 0.5x by 2.5% Top-1 accuracy on ImageNet dataset with less parameters and comparable latency on an ARM-based mobile device. Code and model weights are available at https://github.com/ChengpengChen/RepGhost.

연구 동기 및 목표

• 하드웨어 효율적 특성 재사용을 경량 CNN에 대해 연결 방식 밖으로 모티브합니다.
• 가중치 공간 융합을 통해 암묵적 특성 재사용을 가능케 하는 RepGhost 모듈을 제안합니다.
• Ghost 모듈을 RepGhost 모듈로 교체하고 RepGhostNet를 구축하여 모바일 디바이스에서 평가합니다.
• ImageNet 및 COCO 태스크에서 향상된 정확도-지연 균형을 시연합니다.

제안 방법

• 특성 재사용을 위한 연결(concatenation)과 더하기(add) 비용을 하드웨어 관점에서 분석합니다.
• Ghost 모듈의 연결을 더하기로 대체하고 재매개화 규칙을 만족하도록 재구성합니다.
• 구조적 재매개화를 만족시키기 위해 융합 전 ReLU를 배치해 학습 시 다양성을 가중치 공간에서 융합되도록 합니다.
• 아이덴티티 분기에 BN을 도입하고 추론 시 융합되도록 하여 RepGhost 모듈을 형성합니다.
• 입력/출력 채널 정렬을 유지하면서 Ghost 병목을 RepGhost 병목으로 교체하여 RepGhostNet를 형성합니다.
• ImageNet 분류와 COCO 검출/세그먼트, 재매개화 구조 및 단축키에 대한 제거 연구를 평가합니다.

실험 결과

연구 질문

• RQ1 구조적 재매개화를 통한 특성 재사용이 Ghost 기반 아키텍처에서 연결 방식에 비해 하드웨어 비용을 줄일 수 있습니까?
• RQ2 RepGhost 모듈이 모바일 하드웨어에서 더 낮은 지연으로 유사하거나 더 좋은 정확도를 달성할 수 있습니까?
• RQ3 훈련 시 다양성을 지지하고 추론 시 효율성을 최적화하는 재매개화 구조는 무엇입니까?
• RQ4 RepGhostNet과 같이 초경량 CNN에서 숏컷이 여전히 유용합니까?

주요 결과

• ARM 모바일 지연에서 RepGhostNet은 GhostNet 및 MobileNetV3보다 더 나은 정확도-지연 트레이드오프를 달성합니다.
• RepGhostNet 0.5x는 GhostNet 0.5x보다 20% 더 빠르며 ImageNet에서 Top-1 정확도는 0.5% 더 높습니다.
• RepGhostNet 1.0x는 MobileNetV3 Large 0.75x보다 14% 더 빠르고 Top-1 정확도는 0.7% 더 높습니다.
• RepGhostNet 0.58x는 ImageNet에서 GhostNet 0.5x를 2.5%의 Top-1에서 능가합니다.
• COCO에서 RepGhostNet은 MobileNetV2, MobileNetV3 및 GhostNet을 능가하는 추론 속도를 보이며, 예를 들어 RepGhostNet 1.3x는 GhostNet 베이스라인보다 더 높은 mAP를 달성합니다.
• 단일화 연구에서 BN 기반 재매개화가 최상의 성능을 보이며, ReLU를 뒤로 이동하면 융합이 가능하고, 숏컷은 소형 모델에서 여전히 유리합니다.