[논문 리뷰] FNA++: Fast Network Adaptation via Parameter Remapping and Architecture Search

Jiemin Fang, Yuzhu Sun외 5명|arXiv (Cornell University)|2020. 06. 21.

Advanced Neural Network Applications참고 문헌 89인용 수 4

한 줄 요약

FNA++는 파라미터 재매핑과 신경망 아키텍처 탐색을 활용하여 사전 훈련된 네트워크(예: MobileNetV2)를 세분화, 객체 검출, 자세 추정과 같은 새로운 작업에 효율적으로 적응시키는 빠른 네트워크 적응 방법을 제안한다. 시드 네트워크의 파라미터를 슈퍼 네트워크로 재매핑하고, 시드 주변에서 아키텍처 탐색을 수행함으로써 기존의 SOTA NAS 방법 대비 최대 1737배의 계산 비용 절감을 이룩하면서도 뛰어난 성능을 달성한다.

ABSTRACT

Deep neural networks achieve remarkable performance in many computer vision tasks. Most state-of-the-art (SOTA) semantic segmentation and object detection approaches reuse neural network architectures designed for image classification as the backbone, commonly pre-trained on ImageNet. However, performance gains can be achieved by designing network architectures specifically for detection and segmentation, as shown by recent neural architecture search (NAS) research for detection and segmentation. One major challenge though is that ImageNet pre-training of the search space representation (a.k.a. super network) or the searched networks incurs huge computational cost. In this paper, we propose a Fast Network Adaptation (FNA++) method, which can adapt both the architecture and parameters of a seed network (e.g. an ImageNet pre-trained network) to become a network with different depths, widths, or kernel sizes via a parameter remapping technique, making it possible to use NAS for segmentation and detection tasks a lot more efficiently. In our experiments, we apply FNA++ on MobileNetV2 to obtain new networks for semantic segmentation, object detection, and human pose estimation that clearly outperform existing networks designed both manually and by NAS. We also implement FNA++ on ResNets and NAS networks, which demonstrates a great generalization ability. The total computation cost of FNA++ is significantly less than SOTA segmentation and detection NAS approaches: 1737x less than DPC, 6.8x less than Auto-DeepLab, and 8.0x less than DetNAS. A series of ablation studies are performed to demonstrate the effectiveness, and detailed analysis is provided for more insights into the working mechanism. Codes are available at https://github.com/JaminFong/FNA.

연구 동기 및 목표

• 세분화 및 객체 검출 작업에서 작업별 신경망 아키텍처를 사전 훈련하고 탐색하는 데 드는 높은 계산 비용을 해결하기 위해.
• 전체 재훈련 없이도 사전 훈련된 ImageNet 모델을 새로운 작업에 효율적으로 적응시키기 위해.
• 시드 네트워크에서 슈퍼 네트워크로 지식을 전달하는 파라미터 재매핑 기법을 개발하여 더 빠른 아키텍처 탐색을 가능하게 하기 위해.
• 사전 훈련된 시드에서 아키텍처 수준의 미세조정이 무작위 탐색이나 슈퍼 네트워크 사전 훈련보다 효율성과 성능 면에서 뛰어나다는 것을 입증하기 위해.
• ResNet 및 NAS 생성 네트워크를 포함한 다양한 백본 아키텍처로의 일반화를 가능하게 하기 위해.

제안 방법

• FNA++는 사전 훈련된 시드 네트워크(예: MobileNetV2)를 기반으로 하여, 탐색 공간을 나타내는 슈퍼 네트워크로 확장한다.
• 새로운 파라미터 재매핑 메커니즘을 사용하여 시드 네트워크의 파라미터를 슈퍼 네트워크로 재매핑함으로써 탐색 과정을 초기화한다.
• 시드 주변의 아키텍처에 집중함으로써 탐색 공간을 축소하고 수렴 속도를 향상시키기 위해, 파라미터 재매핑된 슈퍼 네트워크에서 아키텍처 탐색을 수행한다.
• 슈퍼 네트워크 내 파라미터 분포를 기반으로 목표 아키텍처를 유도함으로써, 시드에 기반한 파라미터 초기화가 이루어지도록 보장한다.
• 최종 네트워크는 재매핑된 파라미터를 사용하여 미세조정되며, 최소한의 훈련으로도 빠른 파라미터 적응이 가능해진다.
• 이 방법은 아키텍처 수준과 파라미터 수준의 적응을 모두 지원하며, 이 과정을 전이 학습의 한 형태로 간주한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 시드 네트워크에서 파라미터 재매핑이 세분화 및 검출 작업에 대한 신경망 아키텍처 탐색의 계산 비용을 크게 감소시키는가?
• RQ2 사전 훈련된 시드에서 초기화된 아키텍처 탐색이 무작위 또는 균일하게 초기화된 탐색보다 정확도와 효율성 면에서 뛰어나게 되는가?
• RQ3 제안된 파라미터 재매핑 메커니즘이 다양한 작업 간 네트워크 적응 과정에서 성능을 유지하는 데 얼마나 효과적인가?
• RQ4 FNA++는 ResNet 및 NAS 생성 모델을 포함한 다양한 백본 아키텍처로 일반화될 수 있는가?
• RQ5 원천 작업과 대상 작업 간 아키텍처 유사성이 아키텍처 수준의 미세조정 효과성에 미치는 영향은 무엇인가?

주요 결과

• FNA++는 세분화 및 검출 작업에서 DPC 대비 총 계산 비용을 1737배 감소시키며, Auto-DeepLab 대비 6.8배, DetNAS 대비 8.0배의 비용 절감을 달성한다.
• FNA++에서 적응된 네트워크는 세분화, 객체 검출, 인간 자세 추정 작업에서 수동 설계된 네트워크와 NAS 생성 모델 모두를 뛰어넘는 성능을 달성한다.
• 시드 네트워크에서 효과적인 파라미터 재매핑 덕분에 최소한의 재훈련으로도 뛰어난 성능을 달성한다.
• 제거 실험을 통해 파라미터 재매핑과 아키텍처 수준의 미세조정이 이 방법의 성공에 핵심적인 역할을 하며, 시드 주변에서의 탐색이 무작위 초기화보다 더 좋은 결과를 낸다는 것이 확인되었다.
• ResNet 및 NAS 생성 네트워크에서의 일반화 능력이 검증되어, 다양한 아키텍처 패밀리 간의 강건성을 입증하였다.
• 슈퍼 네트워크가 재매핑된 파라미터로 초기화되기 때문에 탐색 과정이 크게 가속화되었으며, 고비용의 사전 훈련이 필요 없어졌다.