[논문 리뷰] NAS-FCOS: Fast Neural Architecture Search for Object Detection

Ning Wang, Yang Gao외 5명|arXiv (Cornell University)|2019. 06. 11.

Advanced Neural Network Applications참고 문헌 33인용 수 25

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS)을 위한 빠르고 메모리 효율적인 프레임워크인 NAS-FCOS를 제안한다. 이는 앵커리스 FCOS 검출기의 특징 피라미드 네트워크(FPN)와 예측 헤드를 맞춤형 강화학습 파라다임을 통해 최적화한다. 경량 프oxy 작업, 점진적 탐색, 분류 평가를 통해 8장의 V100 GPU를 사용해 단 4일 만에 최신 기술 수준의 아키텍처를 발견하였으며, 기존 모델과 유사한 FLOPs와 메모리 사용량을 유지하면서 COCO에서 1.5–3.5 AP 향상을 달성하였다.

ABSTRACT

The success of deep neural networks relies on significant architecture engineering. Recently neural architecture search (NAS) has emerged as a promise to greatly reduce manual effort in network design by automatically searching for optimal architectures, although typically such algorithms need an excessive amount of computational resources, e.g., a few thousand GPU-days. To date, on challenging vision tasks such as object detection, NAS, especially fast versions of NAS, is less studied. Here we propose to search for the decoder structure of object detectors with search efficiency being taken into consideration. To be more specific, we aim to efficiently search for the feature pyramid network (FPN) as well as the prediction head of a simple anchor-free object detector, namely FCOS, using a tailored reinforcement learning paradigm. With carefully designed search space, search algorithms and strategies for evaluating network quality, we are able to efficiently search a top-performing detection architecture within 4 days using 8 V100 GPUs. The discovered architecture surpasses state-of-the-art object detection models (such as Faster R-CNN, RetinaNet and FCOS) by 1.5 to 3.5 points in AP on the COCO dataset, with comparable computation complexity and memory footprint, demonstrating the efficacy of the proposed NAS for object detection.

연구 동기 및 목표

• 기존 신경망 아키텍처 탐색(NAS) 방법이 객체 검출에서 높은 계산 비용과 비효율성을 보이는 문제를 해결하기 위해, 특히 복잡한 다중 헤드 아키텍처에 대해.
• 최적의 FPN 및 예측 헤드 아키텍처를 탐색하는 데 있어 정확도를 유지하면서도 탐색 시간과 메모리 사용량을 줄이기 위해.
• 완전한 백본 미세조정을 피하는 프록시 학습 계획을 개발하여, 검색 품질을 손상시키지 않고도 평가 속도를 높이기 위해.
• 다양한 백본(예: MobileNetV2, ResNet, ResNeXt)에 걸쳐 검색된 아키텍처의 효과성과 일반화 능력을 입증하기 위해.

제안 방법

• 백본 미세조정을 생략하는 가벼운 프록시 작업을 설계하여 평가 시간을 크게 단축시키면서도 전체 COCO 학습 성능과 강한 상관관계를 유지한다.
• 검증 손실 기반 보상 함수를 사용하는 강화학습 기반의 탐색 전략을 적용하여, 초기 탐색 단계에서 직접 AP 기반 보상보다 더 우수한 수렴 성능를 보여준다.
• 먼저 FPN(f)을 탐색한 후, FPN과 헤드(f + h)를 동시에 탐색하는 점진적 탐색 전략을 도입하여 탐색 공간의 확장률을 줄이고 효율성을 향상시킨다.
• FPN 및 헤드 모두에 표준 및 변형 컨벌루션을 포함하는 탐색 공간을 정의하여 아키텍처의 다양성을 확보하면서도 계산 가능성을 유지한다.
• 복잡성을 줄이고 탐색 중 학습 속도를 높이기 위해 간소화된 앵커리스 단일단계 검출기(FCOS)를 기본 프레임워크로 사용한다.
• 소규모 검증 세트에서 높은 성능를 보이는 아키텍처를 우선시하는 분류 평가 기준을 도입하여 탐색에서의 오진 양성률을 감소시킨다.

실험 결과

연구 질문

• RQ1 완전한 학습을 통한 평가에 의존하지 않고도, 빠르고 메모리 효율적인 NAS 프레임워크가 객체 검출에서 높은 성능의 FPN 및 예측 헤드 아키텍처를 효과적으로 탐색할 수 있는가?
• RQ2 검증 손실을 프록시 보상으로 사용할 경우, 직접 AP를 보상으로 사용하는 것과 비교해 탐색 수렴성과 최종 모델 정확도에서 어떤 차이가 있는가?
• RQ3 점진적 탐색(먼저 FPN, 그 후 헤드)이 초기 단계부터 공동 탐색을 하는 것과 비교해 탐색 효율성과 성능 향상에 얼마나 기여하는가?
• RQ4 변형 컨벌루션과 헤드에서의 가중치 공유가 검색된 아키텍처의 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ5 검색된 아키텍처가 다양한 백본(예: ResNet, MobileNetV2) 간에 일반화되어 일관된 AP 향상을 유지할 수 있는가?

주요 결과

• NAS-FCOS는 8장의 V100 GPU를 사용해 단 4일 만에 최고 성능의 객체 검출 아키텍처를 발견하였으며, COCO 데이터셋에서 Faster R-CNN, RetinaNet, FCOS와 같은 최신 기술 수준의 모델보다 1.5–3.5 AP 향상을 달성하였다.
• 프록시 작업 보상과 최종 COCO AP 간의 강한 상관관계(그림 6)를 확보하여 제안된 프록시 평가 기반의 효과성을 검증하였다.
• 검증 손실을 RL 보상으로 사용할 경우 안정적이고 명확한 성능 향상 추세를 보였으며, 직접 AP 기반 보상은 초기 탐색 라운드에서 수렴성이 열악한 경향을 보였다.
• FPN과 헤드를 동시에 탐색하는 공동 탐색(f + h)이 가장 우수한 성능(AP = 39.8, ResNet-50 기준)을 기록하였으며, 별도의 탐색이나 DeformFPN-FCOS 기준 모델(AP = 38.4)을 모두 초월하였다.
• 검색된 아키텍처는 다양한 백본 간에 잘 일반화된다: ResNeXt-101 기반 NAS-FCOS는 FLOPs의 1/3만을 사용하면서도 NAS-FPN보다 1.3 AP 높은 성능를 기록하였다.
• FPN 너비 128과 헤드 너비 256를 가진 모델은 성능과 추론 비용 사이의 균형을 잘 맞추는 유리한 정확도-계산 트레이드오프를 제공한다.