[논문 리뷰] Computation Reallocation for Object Detection

Feng Liang, Lin Chen외 5명|arXiv (Cornell University)|2019. 12. 24.

Advanced Neural Network Applications참고 문헌 32인용 수 30

한 줄 요약

이 논문은 객체 검출 백본에서 특징 해상도와 공간 위치 간의 계산을 자동으로 재할당하는 신경망 아키텍처 탐색 프레임워크인 CR-NAS를 제안한다. FLOPs를 증가시키지 않으면서도 검출 정확도를 향상시킨다. 두 수준의 재할당 공간과 계층적 탐색을 통해 최적의 계산 분포를 학습함으로써 ResNet50과 MobileNetV2에서 각각 1.9% 및 1.7%의 COCO AP 향상을 달성한다. 이는 다른 검출 헤드, 데이터셋(예: PASCAL VOC), 그리고 인스턴스 세그멘테이션과 같은 작업으로도 강력한 이식성을 보여준다.

ABSTRACT

The allocation of computation resources in the backbone is a crucial issue in object detection. However, classification allocation pattern is usually adopted directly to object detector, which is proved to be sub-optimal. In order to reallocate the engaged computation resources in a more efficient way, we present CR-NAS (Computation Reallocation Neural Architecture Search) that can learn computation reallocation strategies across different feature resolution and spatial position diectly on the target detection dataset. A two-level reallocation space is proposed for both stage and spatial reallocation. A novel hierarchical search procedure is adopted to cope with the complex search space. We apply CR-NAS to multiple backbones and achieve consistent improvements. Our CR-ResNet50 and CR-MobileNetV2 outperforms the baseline by 1.9% and 1.7% COCO AP respectively without any additional computation budget. The models discovered by CR-NAS can be equiped to other powerful detection neck/head and be easily transferred to other dataset, e.g. PASCAL VOC, and other vision tasks, e.g. instance segmentation. Our CR-NAS can be used as a plugin to improve the performance of various networks, which is demanding.

연구 동기 및 목표

• 객체 검출 백본에서 일반적으로 이미지 분류 네트워크에서 유도된 최적화되지 않은 계산 할당 문제를 해결하기 위해.
• 분류 사전 지식에 의존하지 않고, 검출 데이터셋에서 직접 계산 재할당 전략을 학습하는 방법을 개발하기 위해.
• 다양한 특징 해상도와 공간 위치 간의 효과적 수신 영역(Efficient Receptive Field, ERF) 균형을 최적화하여 검출 성능을 향상시키기 위해.
• 효율적이고 이식 가능하며 다양한 백본 아키텍처와 검출 작업에 적용 가능한 탐색 프레임워크를 설계하기 위해.

제안 방법

• 특징 해상도 간의 스테이지 수준 재할당과 공간 위치 간의 연산 수준 재할당을 포함하는 두 수준의 계산 재할당 공간을 제안한다.
• 스테이지 수준 탐색 비용을 줄이고 다양한 계산 예산에 적응하기 위해 모델을 재사용하는 계층적 탐색 절차를 도입한다.
• ERF 균형과 스케일 변동성 처리에 중점을 둔, 객체 검출을 위한 새로운 탐색 공간을 활용한다.
• 스테이지와 공간 위치 간의 계산 재할당을 동시에 최적화하기 위해 미분 가능 탐색 전략을 사용한다.
• COCO 검출 데이터에 직접 탐색 절차를 적용하여 작업별로 최적화된 계산 분포를 학습한다.
• 발견된 아키텍처를 플러그인으로 재사용하여 다양한 검출 헤드, 넥, 모델을 향상시킨다.

실험 결과

연구 질문

• RQ1 특징 해상도와 공간 위치 간의 계산 재할당이 FLOPs를 증가시키지 않으면서도 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 객체 검출 백본의 다양한 특징 맵에서 효과적 수신 영역(ERF) 분포는 어떻게 달라지며, 이를 최적화할 수 있는가?
• RQ3 직접 검출 데이터에서 훈련된 NAS 프레임워크가 분류 기반 백본보다 객체 검출에서 뛰어난 성능을 낼 수 있는가?
• RQ4 계산 재할당 전략은 다양한 검출 모델, 데이터셋, 작업 간에 얼마나 이식 가능한가?
• RQ5 분류 정확도와 검출 성능 사이에 괴리가 존재하는가이며, 계산 재할당이 이를 메울 수 있는가?

주요 결과

• CR-ResNet50는 추가 FLOPs 없이도 COCO AP 38.3%를 달성하여 기준 모델 대비 1.9% 향상되었다.
• CR-MobileNetV2는 동일한 계산 예산 하에서 COCO AP 33.9%를 기록하여 기준 모델 대비 1.7% 향상되었다.
• 스테이지 재할당 구성 요소만으로도 MobileNetV2, ResNet18, ResNet50, ResNet101, ResNeXt 등 여러 모델에서 평균 1.0%의 AP 향상을 달성했다.
• Mask R-CNN를 통해 인스턴스 세그멘테이션에 적용했을 때, CR-ResNet50는 COCO 세그멘테이션 AP를 1.3% 향상시키고 바운딩 박스 AP를 1.5% 향상시켰다.
• PASCAL VOC에서 CR-ResNet50는 기준 모델 대비 mAP@0.5에서 1.0% 향상되었다.
• NAS-FPN 넥과 Cascade Mask R-CNN를 결합했을 때, CR-ResNet101은 44.5%의 AP를 기록하여 기준 모델 대비 1.2% 향상되었다.