[논문 리뷰] Efficient Neural Architecture Transformation Search in Channel-Level for Object Detection

Junran Peng, Ming Sun외 3명|arXiv (Cornell University)|2019. 01. 01.

Advanced Neural Network Applications인용 수 45

한 줄 요약

이 논문은 ImageNet 사전 훈련 모델을 다시 훈련하지 않고도 객체 검출 작업에 재사용할 수 있도록 채널 수준에서의 구조 전환을 학습하는 기반으로 하는 경량화된 기울기 기반 신경망 아키텍처 탐색 기법인 Neural Architecture Transformation Search(NATS)를 제안한다. 분류 네트워크를 검출 작업에 적합하도록 효율적인 아키텍처 전환을 학습함으로써 NATS는 추가적인 파rameter나 FLOPs 없이 COCO에서 최신 기술 수준(SOTA)의 성능을 달성하며, 실시간 응용 프로그램에서 빠르고 하드웨어 우수한 배포가 가능하다.

ABSTRACT

Recently, Neural Architecture Search has achieved great success in large-scale image classification. In contrast, there have been limited works focusing on architecture search for object detection, mainly because the costly ImageNet pretraining is always required for detectors. Training from scratch, as a substitute, demands more epochs to converge and brings no computation saving. To overcome this obstacle, we introduce a practical neural architecture transformation search(NATS) algorithm for object detection in this paper. Instead of searching and constructing an entire network, NATS explores the architecture space on the base of existing network and reusing its weights. We propose a novel neural architecture search strategy in channel-level instead of path-level and devise a search space specially targeting at object detection. With the combination of these two designs, an architecture transformation scheme could be discovered to adapt a network designed for image classification to task of object detection. Since our method is gradient-based and only searches for a transformation scheme, the weights of models pretrained in ImageNet could be utilized in both searching and retraining stage, which makes the whole process very efficient. The transformed network requires no extra parameters and FLOPs, and is friendly to hardware optimization, which is practical to use in real-time application. In experiments, we demonstrate the effectiveness of NATS on networks like {\em ResNet} and {\em ResNeXt}. Our transformed networks, combined with various detection frameworks, achieve significant improvements on the COCO dataset while keeping fast.

연구 동기 및 목표

• ImageNet 사전 훈련이 필요한 객체 검출 모델의 높은 계산 비용과 긴 훈련 시간 문제를 해결하기 위해.
• 다시 훈련하지 않거나 추가 파라미터를 추가하지 않고도 효율적인 아키텍처 탐색을 가능하게 하기 위해.
• 탐색 및 재훈련 단계 모두에서 사전 훈련된 가중치를 재사용하여 효율성을 향상시키기 위해.
• 객체 검출 성능에 특화된 채널 수준의 탐색 공간을 설계하기 위해.
• 실시간 배포에 적합한 실용적이고 하드웨어 최적화된 아키텍처 변환 방식을 개발하기 위해.

제안 방법

• 경로 수준이 아닌 채널 수준에서 작동하는 기울기 기반 신경망 아키텍처 탐색 전략을 제안하여 탐색 복잡도를 감소시킨다.
• 채널 스케일링 및 병합과 같은 채널 기반 변환에 중점을 둔 새로운 탐색 공간을 도입하여 분류 네트워크를 검출 작업에 적합하게 조정한다.
• 탐색 및 재훈련 단계 전반에 걸쳐 사전 훈련된 ImageNet 가중치를 재사용하여 다시 훈련할 필요 없이 모델을 구축한다.
• 변환 정책의 엔드 투 엔드 최적화를 가능하게 하는 미분 가능 탐색 메커니즘을 활용한다.
• 모델 효율성을 유지하여 파라미터 또는 FLOPs의 증가 없이도 변환 과정을 설계한다.
• 기존의 ResNet 및 ResNeXt 네트워크에 학습된 변환을 적용하고, 다양한 검출 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 채널 수준의 아키텍처 탐색 전략이 ImageNet 사전 훈련된 분류 네트워크를 객체 검출 작업에 효과적으로 적응시킬 수 있는가?
• RQ2 사전 훈련된 가중치를 재사용하면서도 효율적이고 미분 가능한 탐색 과정을 설계할 수 있는가?
• RQ3 제안된 변환 방식이 FLOPs나 파라미터의 증가 없이 검출 성능을 향상시킬 수 있는가?
• RQ4 최소한의 계산 오버헤드로 COCO에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 이 방법은 다양한 백본 아키텍처와 검출 프레임워크 간에 잘 일반화되는가?

주요 결과

• 제안된 NATS 방법은 ResNet 및 ResNeXt 백본에 적용했을 때 COCO 객체 검출 벤치마크에서 뚜렷한 성능 향상을 달성한다.
• 추가 파라미터나 FLOPs 없이도 다양한 검출 프레임워크에서 원본 네트워크보다 뛰어난 성능을 내는 것으로 나타났다.
• 전 과정에서 ImageNet 사전 훈련된 가중치를 재사용함으로써 빠른 수렴과 효율적인 훈련을 가능하게 한다.
• 기울기 기반 최적화와 채널 수준 연산 덕분에 탐색 과정이 계산적으로 효율적이다.
• 결과로 도출된 모델은 하드웨어 우수하고 실시간 추론 응용에 적합하다.
• 이 방법은 다양한 검출 프레임워크와 백본 아키텍처 간에 강력한 일반화 성능을 보였다.