[논문 리뷰] Learning Versatile Neural Architectures by Propagating Network Codes

Mingyu Ding, Yuqi Huo외 6명|arXiv (Cornell University)|2021. 03. 24.

Advanced Neural Network Applications참고 문헌 55인용 수 8

한 줄 요약

이 논문은 네트워크 코드를 직접 최적화하여 다양한 이질적인 비전 작업(이미지 세그멘테이션, 3D 검출, 비디오 인식 등)에서 동시에 상태최저 성능을 달성하는 새로운 신경망 아키텍처 탐색(NAS) 방법인 네트워크 코딩 전파(NCP)를 제안한다. NCP는 학습된 신경 예측기들을 통해 기울기를 역전파하여 아키텍처 코드를 직접 업데이트함으로써, 여러 작업을 동시에 몇 초 내에 공동으로 탐색할 수 있도록 한다. 이는 NAS-Bench-MR과 같은 커스텀 벤치마크와 NAS-Bench-201과 같은 표준 벤치마크에서 모두 최신 기술 수준의 성능을 달성하며, 작업 간 강력한 전이성도 보여준다.

ABSTRACT

This work explores how to design a single neural network capable of adapting to multiple heterogeneous vision tasks, such as image segmentation, 3D detection, and video recognition. This goal is challenging because both network architecture search (NAS) spaces and methods in different tasks are inconsistent. We solve this challenge from both sides. We first introduce a unified design space for multiple tasks and build a multitask NAS benchmark (NAS-Bench-MR) on many widely used datasets, including ImageNet, Cityscapes, KITTI, and HMDB51. We further propose Network Coding Propagation (NCP), which back-propagates gradients of neural predictors to directly update architecture codes along the desired gradient directions to solve various tasks. In this way, optimal architecture configurations can be found by NCP in our large search space in seconds. Unlike prior arts of NAS that typically focus on a single task, NCP has several unique benefits. (1) NCP transforms architecture optimization from data-driven to architecture-driven, enabling joint search an architecture among multitasks with different data distributions. (2) NCP learns from network codes but not original data, enabling it to update the architecture efficiently across datasets. (3) In addition to our NAS-Bench-MR, NCP performs well on other NAS benchmarks, such as NAS-Bench-201. (4) Thorough studies of NCP on inter-, cross-, and intra-tasks highlight the importance of cross-task neural architecture design, i.e., multitask neural architectures and architecture transferring between different tasks. Code is available at https://github.com/dingmyu/NCP.

연구 동기 및 목표

• 다양한 데이터 분포와 특징 정밀도 요구 사항을 가진 이질적인 비전 작업을 모두 지원할 수 있는 통합된 신경망 아키텍처 탐색 공간을 설계하는 것.
• 다양한 작업 간 데이터셋 및 작업 불일치 문제를 해결하기 위해 다양한 작업 간 공동 최적화를 가능하게 하는 것.
• 각 작업마다 재학습이나 반복적 탐색 없이도 효율적으로 다용도 아키텍처를 탐색할 수 있는 방법을 개발하는 것.
• 공유된 네트워크 코드와 다중 작업 예측기 학습을 활용해 작업 간 아키텍처 전이를 촉진하는 것.
• NAS-Bench-MR을 도입하여 기존 NAS 벤치마크와 실제 다중 작업 시나리오 사이의 격차를 해소하고, ImageNet, Cityscapes, KITTI, HMDB51에서의 실용적 벤치마크를 제공하는 것.

제안 방법

• 모든 네트워크 하이퍼파라미터를 이산 코드로 표현(예: 3개의 블록, 블록당 2개의 잔여 유닛, 64채널 → '3,2,64')하여 다중 작업 탐색을 위한 통합 코딩 공간을 구성한다.
• 각 작업별로 네트워크 코드에서 성능 지표(정확도, mIoU, FLOPs 등)로 매핑하는 작업별 전용 신경 예측기를 학습한다.
• 신경 예측기에서 기울기를 역전파하여 아키텍처 코드를 직접 최적화함으로써 목표 성능 제약(예: 높은 정확도, 낮은 FLOPs)을 향해 조정한다.
• 코드 공간에서 기울기 기반 최적화를 통해 대규모 탐색 공간을 효율적으로 탐색하여 몇 초 내에 수렴한다.
• 한 작업의 코드를 초기값으로 사용하고 다른 작업의 예측기를 통해 미세조정함으로써 작업 간 아키텍처 전이를 가능하게 한다.
• 다중 작업 목표를 다수의 예측기에서 기울기 누적 방식으로 설정함으로써 정확도와 효율성과 같은 상충 관계에 있는 목표를 동시에 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 분포와 표현 요구 사항을 가진 이질적인 비전 작업들 간에 단일 신경망 아키텍처를 효과적으로 최적화할 수 있는가?
• RQ2 각 작업마다 탐색 과정을 다시 실행하지 않고도 다양한 작업 간에 효율적이고 확장 가능한 아키텍처 탐색을 어떻게 구현할 수 있는가?
• RQ3 한 작업에서 학습한 아키텍처 코드가 최소한의 재학습으로 다른 작업에 얼마나 잘 전이될 수 있는가?
• RQ4 통합 탐색 공간의 설계가 다중 작업 아키텍처의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ5 코드 공간에서의 기울기 기반 최적화가 여러 작업 간 신속하고 아키텍처 중심의 탐색을 어떻게 가능하게 하는가?

주요 결과

• NCP는 데이터 의존적 탐색을 회피하고 신경 예측기의 기울기 역전파를 통해 아키텍처 코드를 직접 최적화함으로써 몇 초 내에 최적의 아키텍처 구성에 도달한다.
• 제안된 NAS-Bench-MR 벤치마크는 ImageNet, Cityscapes, KITTI, HMDB51를 포함한 실제 데이터셋에서의 실용적이고 대규모 다중 작업 NAS를 가능하게 한다.
• NCP는 강력한 전이성을 보이며, 타겟 작업의 예측기를 사용해 몇 번의 반복만으로도 새로운 작업에 아키텍처를 적응시킬 수 있다.
• 다른 작업에서 유래한 아키텍처 코드는 고유한 패턴을 보인다. 예를 들어, 세그멘테이션 모델은 스테이지 4의 4번째 브랜치에서 채널 너비를 증가시키는 경향이 있고, 분류 모델은 이를 감소시킨다.
• NCP는 NAS-Bench-201에서 최신 기술 수준의 성능을 달성하며, 이전의 NAS 방법보다 다중 작업 및 전이 학습 시나리오에서 뛰어난 성능을 보인다.
• 시각화 결과는 작업에 따라 모델 설계 방식이 크게 다름을 보여준다: 세그멘테이션은 더 많은 피드포워드 모듈과 더 적은 병렬 유닛을 선호하는 반면, 비디오 인식은 중간 수준의 채널 구성 유지한다.