[논문 리뷰] OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection

Tingting Liang, Yongtao Wang외 3명|arXiv (Cornell University)|2021. 03. 08.

Advanced Neural Network Applications참고 문헌 33인용 수 5

한 줄 요약

OPANAS는 객체 검출을 위한 one-shot 신경망 아키텍처 탐색 프레임워크를 제안하며, 최적의 특징 피라미드 네트워크(FPN)를 발견하기 위해 6가지 이질적인 정보 경로(상향, 하향, 융합-분할, 스케일 보정, 스킵 커넥션, 없음)를 포함하는 밀집 연결된 검색 공간을 설계한다. 공정한 샘플링과 엣지 중요도 가중치를 적용해 슈퍼넷을 훈련하고, 유전적 알고리즘을 사용해 최적의 하위 네트워크를 탐색함으로써, MS-COCO에서 단지 4개의 GPU 일 분석 비용으로 7.6 FPS에서 52.2% mAP의 최고 성능을 달성하며, 이는 기존 NAS 방법에 비해 효율성과 정확도 면에서 모두 뛰어나다.

ABSTRACT

Recently, neural architecture search (NAS) has been exploited to design feature pyramid networks (FPNs) and achieved promising results for visual object detection. Encouraged by the success, we propose a novel One-Shot Path Aggregation Network Architecture Search (OPANAS) algorithm, which significantly improves both searching efficiency and detection accuracy. Specifically, we first introduce six heterogeneous information paths to build our search space, namely top-down, bottom-up, fusing-splitting, scale-equalizing, skip-connect and none. Second, we propose a novel search space of FPNs, in which each FPN candidate is represented by a densely-connected directed acyclic graph (each node is a feature pyramid and each edge is one of the six heterogeneous information paths). Third, we propose an efficient one-shot search method to find the optimal path aggregation architecture, that is, we first train a super-net and then find the optimal candidate with an evolutionary algorithm. Experimental results demonstrate the efficacy of the proposed OPANAS for object detection: (1) OPANAS is more efficient than state-of-the-art methods (e.g., NAS-FPN and Auto-FPN), at significantly smaller searching cost (e.g., only 4 GPU days on MS-COCO); (2) the optimal architecture found by OPANAS significantly improves main-stream detectors including RetinaNet, Faster R-CNN and Cascade R-CNN, by 2.3-3.2 % mAP comparing to their FPN counterparts; and (3) a new state-of-the-art accuracy-speed trade-off (52.2 % mAP at 7.6 FPS) at smaller training costs than comparable state-of-the-arts. Code will be released at https://github.com/VDIGPKU/OPANAS.

연구 동기 및 목표

• 기존의 NAS 기반 FPN이 과도한 계산을 요구하거나 특정 훈련 설정에만 최적화되어 있어 효율성과 적응성에 한계를 가진다는 문제를 해결하기 위해.
• 단순한 체인 형태의 집합 방식을 초월해 다양한 정보 흐름 패턴을 지원하는 더 풍부하고 유연한 FPN 검색 공간을 설계하기 위해.
• 강력한 일반화 능력을 갖춘 다양한 검출기에서 최적의 FPN 아키텍처를 신속하고 정확하게 탐색할 수 있는 효율적인 one-shot NAS 방법을 개발하기 위해.
• 슈퍼넷 성능과 실제 하위 네트워크 정확도 간의 상관관계를 향상시켜 신뢰할 수 있는 아키텍처 탐색을 보장하기 위해.

제안 방법

• 검색 공간은 각 노드가 특징 피라미드 수준을 나타내고, 각 엣지는 6가지 이질적인 정보 경로 중 하나인 상향, 하향, 융합-분할, 스케일 보정, 스킵 커넥션, 없음 중 하나에 해당하는 밀집 연결된 방향 무사이클 그래프(DAG)로 정의된다.
• 4개의 파라미터화된 경로(상향, 하향, 융합-분할, 스케일 보정)와 2개의 비파라미터화된 경로(스킵 커넥션, 없음)를 설계하여 풍부하고 해석 가능하며 효율적인 특징 집합을 가능하게 한다.
• 공정한 샘플링과 엣지 중요도 가중치를 사용해 슈퍼넷을 훈련함으로써 훈련의 안정성 향상과 슈퍼넷 및 하위 네트워크 성능 간 상관관계 향상을 도모한다.
• 유전적 알고리즘을 활용해 훈련된 슈퍼넷으로부터 최적의 하위 네트워크를 탐색함으로써 아키텍처 공간의 전역 탐색을 가능하게 한다.
• 이 방법은 one-shot 파라다임을 사용한다: 단 한 번의 슈퍼넷 훈련 후 재훈련 없이 최적의 아키텍처를 탐색한다.

Figure 1: Different FPN architectures: (a) FPN [ 17 ] , (b) PANet [ 21 ] , (c) Libra R-CNN [ 23 ] , (d) SEPC-Neck [ 28 ] , (e) BiFPN [ 25 ] , and (f) our searched optimal FPN.

실험 결과

연구 질문

• RQ1 더 풍부하고 밀집 연결된 FPN 검색 공간을 갖춘 one-shot NAS 프레임워크가 기존의 NAS 기반 FPN보다 정확도와 효율성 면에서 뛰어나게 되는가?
• RQ2 상향, 하향, 융합-분할 등의 다양한 이질적인 정보 경로의 포함이 최종 FPN 아키텍처의 성능에 어떤 영향을 미치는가?
• RQ3 엣지 중요도 가중치와 공정한 샘플링이 one-shot NAS에서 슈퍼넷 순위의 신뢰성 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법이 상당히 감소된 분석 비용으로 객체 검출에서 SOTA 정확도-속도 트레이드오프를 달성할 수 있는가?

주요 결과

• OPANAS는 MS-COCO에서 7.6 FPS에서 52.2% mAP를 달성하여 FPN 기반 검출기의 새로운 SOTA 정확도-속도 트레이드오프를 설정한다.
• 이 방법은 NAS-FPN과 Auto-FPN와 같은 이전 방법들에 비해 MS-COCO에서 분석 비용을 단지 4개의 GPU 일로 크게 감소시켰다.
• OPANAS는 RetinaNet, Faster R-CNN, Cascade R-CNN을 각각 FPN 기반 버전보다 2.3–3.2% mAP 향상시켜 강력한 일반화 능력을 입증한다.
• 검색된 아키텍처는 COCO minival에서 197G FLOPs와 35.5M 파라미터로 39.6% mAP를 달성하며, 동일한 검색 공간에서 SPOS(38.4%), DARTS(39.1%), Fair DARTS(39.4%)를 모두 앞서는 성능을 보였다.
• 공정한 샘플링과 엣지 중요도 가중치를 적용한 결과, 슈퍼넷과 하위 네트워크 성능 간 상관관계가 0.6145에 도달하여 표준 one-shot NAS에 비해 신뢰성 향상이著명하게 향상되었다.

Figure 2: 1. Single-path FPN super-net from SPOS search space [ 12 ] . 2. Our OPANAS: (a) super-net training, i.e. , the optimization of super-net weights; (b) optimal sub-net search with an evolutionary algorithm; (c) the searched optimal architecture. Note that two information paths (skip-connect