[논문 리뷰] Fast Neural Network Adaptation via Parameter Remapping and Architecture Search

Jiemin Fang, Yuzhu Sun외 5명|arXiv (Cornell University)|2020. 01. 08.

Advanced Neural Network Applications참고 문헌 49인용 수 20

한 줄 요약

이 논문은 파라미터 재매핑과 신경망 아키텍처 탐색(NAS)을 통해 사전 훈련된 모델(예: MobileNetV2)의 아키텍처 및 파라미터를 효율적으로 적응시킬 수 있는 Fast Neural Network Adaptation(FNA)을 제안한다. FNA는 지능적인 파라미터 재매핑과 NAS 기반 아키텍처 탐색을 통해 ImageNet 사전 훈련 가중치를 재사용함으로써, DPC 대비 1737배, Auto-DeepLab 대비 6.8배, DetNAS 대비 7.4배 적은 계산량으로 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Deep neural networks achieve remarkable performance in many computer vision tasks. Most state-of-the-art (SOTA) semantic segmentation and object detection approaches reuse neural network architectures designed for image classification as the backbone, commonly pre-trained on ImageNet. However, performance gains can be achieved by designing network architectures specifically for detection and segmentation, as shown by recent neural architecture search (NAS) research for detection and segmentation. One major challenge though, is that ImageNet pre-training of the search space representation (a.k.a. super network) or the searched networks incurs huge computational cost. In this paper, we propose a Fast Neural Network Adaptation (FNA) method, which can adapt both the architecture and parameters of a seed network (e.g. a high performing manually designed backbone) to become a network with different depth, width, or kernels via a Parameter Remapping technique, making it possible to utilize NAS for detection/segmentation tasks a lot more efficiently. In our experiments, we conduct FNA on MobileNetV2 to obtain new networks for both segmentation and detection that clearly out-perform existing networks designed both manually and by NAS. The total computation cost of FNA is significantly less than SOTA segmentation/detection NAS approaches: 1737$\ imes$ less than DPC, 6.8$\ imes$ less than Auto-DeepLab and 7.4$\ imes$ less than DetNAS. The code is available at https://github.com/JaminFong/FNA.

연구 동기 및 목표

• 세그멘테이션 및 검출 작업을 위한 사전 훈련 및 신경망 아키텍처 탐색(NAS)의 높은 계산 비용을 해결하기 위해.
• 완전한 재훈련 없이도 수작업으로 설계된 ImageNet 사전 훈련된 네트워크(예: MobileNetV2)를 새로운 작업에 효율적으로 적응시킬 수 있도록 하기 위해.
• 모델 성능을 유지하면서 적응 비용을 최소화하는 파라미터 재매핑 전략을 개발하기 위해.
• 사전 훈련된 시드 네트워크를 활용하여 NAS가 검출 및 세그멘테이션에 효율적으로 적용될 수 있음을 보여주기 위해.
• 기존 사전 훈련된 모델을 재사용함으로써 비전 작업을 위한 NAS 기반 백본 설계의 계산 부담을 줄이기 위해.

제안 방법

• FNA는 사전 훈련된 시드 네트워크(예: MobileNetV2)를 확장하여 NAS의 탐색 공간을 표현하는 슈퍼 네트워크 표현을 사용한다.
• 파라미터 재매핑은 채널 단위 중요도 지표(예: 배치 정규화 통계, L1 노름, 표준편차)를 사용하여 시드 네트워크의 가중치를 슈퍼 네트워크의 가중치로 매핑함으로써 초기화한다.
• NAS 방법을 사용하여 슈퍼 네트워크에서 새로운 작업에 최적화된 타깃 아키텍처를 탐색한다.
• 기준 벡터(예: |γ|, 표준편차, 또는 L1 노름)를 기반으로 상위-k 선택 전략을 사용하여 시드 네트워크의 파라미터를 타깃 아키텍처로 재매핑함으로써 성능을 유지한다.
• 핵심 수준에서의 확장 기반 재매핑 전략을 탐색하여, 원래 가중치의 특정 공간 위치만 유지한다.
• 최종 모델은 추가적인 ImageNet 사전 훈련 없이 타깃 작업(예: DeepLabv3 또는 RetinaNet)에서 미세조정되며, 이로 인해 훈련 비용이 크게 감소한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 수작업 설계 네트워크(예: MobileNetV2)에서의 파라미터 재매핑이 세그멘테이션 및 검출 작업을 위한 효율적이고 효과적인 아키텍처 탐색을 가능하게 할 수 있는가?
• RQ2 배치 정규화 통계, L1 노름, 또는 표준편차 기반 파라미터 재매핑 전략 중 어느 것이 네트워크 적응 중 성능 유지를 위해 더 우수한가?
• RQ3 기존 최신 기술(SOTA) 방법 대비 FNA는 NAS 기반 백본 설계의 계산 비용을 어느 정도 줄일 수 있는가?
• RQ4 제안된 재매핑 전략은 무작위 또는 비정형 초기화보다 빠른 수렴과 더 나은 성능을 달성할 수 있는가?
• RQ5 FNA는 세그멘테이션 및 검출을 초과하여 자세 추정 또는 깊이 추정과 같은 다른 비전 작업으로 일반화될 수 있는가?

주요 결과

• FNA는 도시 스케일즈 검증 세트에서 세그멘테이션 작업에 대해 mIOU 76.6%를 달성하여, 모든 수작업 설계 및 NAS 최적화 기반 베이스라인을 뛰어넘었다.
• NAS 기반 검출 및 세그멘테이션 작업에서 FNA는 DPC 대비 총 계산 비용을 1737배, Auto-DeepLab 대비 6.8배, DetNAS 대비 7.4배 감소시켰다.
• 배치 정규화 통계 기반 재매핑 전략(Width-BN)이 mIOU 75.8%를 기록하여 L1 및 표준편차 기반 방법보다 뛰어난 성능을 보였다.
• 확장 기반 커널 수준 재매핑 전략은 mIOU 75.6%를 달성하여, 구조화된 재매핑이 최소한의 파라미터 전달로도 성능을 유지할 수 있음을 보여주었다.
• FNA는 ImageNet 사전 훈련 없이도 타깃 작업에서 직접 미세조정이 가능하여, 훈련 비용을 크게 감소시키면서도 정확도를 유지하거나 향상시켰다.
• 절단 실험 결과, 제안된 재매핑 전략이 무작위 또는 비정형 초기화보다 효과적이며, 다양한 벤치마크에서 일관된 성능 향상을 보였다.