[논문 리뷰] PAFNet: An Efficient Anchor-Free Object Detector Guidance

Ying Xin, Guanzhong Wang외 6명|arXiv (Cornell University)|2021. 04. 28.

Advanced Neural Network Applications참고 문헌 42인용 수 6

한 줄 요약

PAFNet는 서버 및 모바일 배포를 고려해 최적화된 고성능 앵커리스 객체 검출기로, 향상된 백본 아키텍처(ResNet50-vd 및 MobileNetV3), 지식 정복, 주의 메커니즘(AGS), 데이터 증강(CutMix)을 활용하여 최신 기술 수준의 정확도와 속도를 달성한다. V100 GPU에서 67.15 FPS로 42.2% mAP를 기록하고, Kirin 990 ARM CPU에서 26.00ms 지연 시간으로 23.9% mAP를 달성하여 기존 앵커리스 검출기들을 능가한다.

ABSTRACT

Object detection is a basic but challenging task in computer vision, which plays a key role in a variety of industrial applications. However, object detectors based on deep learning usually require greater storage requirements and longer inference time, which hinders its practicality seriously. Therefore, a trade-off between effectiveness and efficiency is necessary in practical scenarios. Considering that without constraint of pre-defined anchors, anchor-free detectors can achieve acceptable accuracy and inference speed simultaneously. In this paper, we start from an anchor-free detector called TTFNet, modify the structure of TTFNet and introduce multiple existing tricks to realize effective server and mobile solutions respectively. Since all experiments in this paper are conducted based on PaddlePaddle, we call the model as PAFNet(Paddle Anchor Free Network). For server side, PAFNet can achieve a better balance between effectiveness (42.2% mAP) and efficiency (67.15 FPS) on a single V100 GPU. For moblie side, PAFNet-lite can achieve a better accuracy of (23.9% mAP) and 26.00 ms on Kirin 990 ARM CPU, outperforming the existing state-of-the-art anchor-free detectors by significant margins. Source code is at https://github.com/PaddlePaddle/PaddleDetection.

연구 동기 및 목표

• 실제 산업 응용을 위한 높은 정확도와 빠른 추론을 동시에 확보하는 효율적인 앵커리스 객체 검출기 개발.
• 추론 속도를 유지하면서도 TTFNet의 성능을 향상시키기 위해 효과적인 기법 통합.
• 최소한의 지연 시간과 높은 mAP를 확보하기 위해 서버(_GPU) 및 모바일(ARM CPU) 배포를 최적화.
• 앵커리스 검출을 위한 가장 효과적인 조합의 학습 기법, 데이터 증강, 아키텍처 수정을 식별하고 검증.

제안 방법

• 서버 모델의 백본으로 지식 정복(SSL D)을 적용한 ResNet50-vd를 채택하여 특징 표현을 향상시킴.
• 검출 헤드에 적응형 게이팅 스케일(AGS) 모듈을 도입하여 특징 정제 및 정렬 정확도 향상.
• CutMix 데이터 증강 및 EMA(지수 이동 평균) 학습 전략을 적용하여 일반화 능력과 모델의 강인성 향상.
• 서버 측에서는 10x 학습 스케줄, 모바일 측에서는 20x 스케줄을 사용하여 최적 수렴 보장.
• 모바일 모델에서 표준 컨벌루션을 경량 딥워이즈 분리 컨벌루션으로 대체하여 FLOPs와 지연 시간 감소.
• 추가 증강 기법(GirdMask, Random-Crop, Random-Expand)과 정련된 MobileNetV3-Large 백본을 활용해 모바일 모델 최적화.

실험 결과

연구 질문

• RQ1 앵커리스 검출에서 정확도-속도 트레이드오���에서 가장 우수한 성능을 내는 학습 기법과 아키텍처 구성 조합은 무엇인가?
• RQ2 지식 정복과 주의 메커니즘(AGS)은 추론 비용을 증가시키지 않으면서도 앵커리스 검출기 성능 향상에 얼마나 효과적인가?
• RQ3 서버 및 모바일 추론 환경에서 mAP 향상을 위해 가장 효과적인 데이터 증강 전략은 무엇인가?
• RQ4 하이엔드 GPU와 모바일 ARM CPU 환경에 모두 효과적으로 적용 가능한 단일 검출 아키텍처를 어떻게 최적화할 수 있는가?
• RQ5 다양한 학습 스케줄(1x, 4x, 10x, 20x)은 앵커리스 검출에서 수렴과 최종 mAP 성능에 어떤 영향을 미치는가?

주요 결과

• PAFNet는 COCO 2017 검증 세트에서 V100 GPU에서 67.15 FPS로 42.2% mAP를 기록하여 기존 앵커리스 검출기들보다 정확도와 속도 면에서 모두 뛰어난 성능을 달성했다.
• PAFNet-lite는 Kirin 990 ARM CPU에서 단 26.00ms의 지연 시간으로 23.9% mAP를 기록하여 모바일 최적화 앵커리스 검출기 분야에서 새로운 SOTA를 수립했다.
• AGS 모듈과 지식 정복(SSL D)의 통합으로 서버 측에서 mAP가 각각 1.8% 향상되었으며, FLOPs에 큰 증가 없이도 성능 향상을 달성했다.
• CutMix 데이터 증강과 EMA 학습 전략은 서버 측에서 추가로 0.4% mAP 향상을 이끌어내어 강력한 일반화 능력을 입증했다.
• 서버 측 10x, 모바일 측 20x 학습 스케줄이 최적의 수렴과 mAP 성능을 확보하는 데 필수적이었다.
• ResNet50-vd의 최종 단계에서 표준 컨벌루션을 변형 가능한 컨벌루션으로 대체함으로써 서버 측에서 mAP가 39.8%에서 42.2%로 향상되었다.