[논문 리뷰] FBNetV3: Joint Architecture-Recipe Search using Neural Acquisition Function

Xiaoliang Dai, Alvin Wan외 9명|arXiv (Cornell University)|2020. 06. 03.

Advanced Neural Network Applications참고 문헌 23인용 수 52

한 줄 요약

FBNetV3는 신경망 아키텍처와 최적의 트레이닝 레시피를 함께 탐색하는 JointNAS를 도입한다. 신경 추출 함수를 사용하여 효율적인 공동 최적화를 가능하게 하며, 프oxy 데이터셋으로 사전 훈련된 이 함수는 상태최고 수준의 컴팩트한 ImageNet 모델을 생성한다. 이 모델들은 EfficientNet과 동일한 정확도를 달성하면서도 FLOPs가 1.4배 적고, ResNeSt와 동일한 정확도를 달성하면서도 FLOPs가 5.0배 적다.

ABSTRACT

Neural Architecture Search (NAS) yields state-of-the-art neural networks that outperform their best manually-designed counterparts. However, previous NAS methods search for architectures under one training recipe (i.e., training hyperparameters), ignoring the significance of training recipes and overlooking superior architectures under other training recipes. Thus, they fail to find higher-accuracy architecture-recipe combinations. To address this oversight, we present JointNAS to search both (a) architectures and (b) their corresponding training recipes. To accomplish this, we introduce a neural acquisition function that scores architectures and training recipes jointly. Following pre-training on a proxy dataset, this acquisition function guides both coarse-grained and fine-grained searches to produce FBNetV3. FBNetV3 is a family of state-of-the-art compact ImageNet models, outperforming both automatically and manually-designed architectures. For example, FBNetV3 matches both EfficientNet and ResNeSt accuracy with 1.4x and 5.0x fewer FLOPs, respectively. Furthermore, the JointNAS-searched training recipe yields significant performance gains across different networks and tasks.

연구 동기 및 목표

• 기존의 NAS 방법이 단일 고정된 트레이닝 레시피 하에서 아키텍처만 최적화하는 데서 비롯하는 한계를 해결하고자 한다.
• 우수한 성능은 단지 아키텍처 자체가 아니라 최적의 아키텍처-레시피 조합에서 비롯된다는 가설을 탐색하고자 한다.
• 동시에 아키텍처 공간과 트레이닝 레시피 공간을 탐색할 수 있는 공동 탐색 프레임워크를 개발하고자 한다.
• 자원 제약이 있는 장치에서 효율적인 추론을 위한 컴팩트하고 고정확도의 모델 패밀리를 생성하고자 한다.

제안 방법

• 탐색 과정에서 아키텍처와 그에 해당하는 트레이닝 레시피를 함께 평가하는 신경 추출 함수를 제안한다.
• 프oxy 데이터셋으로 추출 함수를 사전 훈련하여 아키텍처 공간과 레시피 공간에서의 효율적 탐색을 안내한다.
• 사전 훈련된 추출 함수를 활용해 아키텍처 공간에서 거친 탐색을 수행한 후, 레시피 공간에서 세밀한 탐색을 수행한다.
• 공동 탐색 과정을 통해 최적의 아키텍처-레시피 조합을 갖춘 FBNetV3, 즉 컴팩트한 ImageNet 모델 패밀리를 발견한다.
• 학습된 추출 함수를 활용해 전체 훈련을 수행하지 않고도 고성능 조합을 식별한다.
• 다양한 네트워크와 작업에 걸쳐 발견된 레시피의 효과성을 검증하여 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 아키텍처와 트레이닝 레시피를 함께 탐색하는 것이 아키텍처 전용 탐색보다 더 높은 성능을 낼 수 있는가?
• RQ2 아키텍처-레시피 상호작용을 모델링하는 신경 추출 함수는 탐색 효율성과 정확도를 어떻게 향상시키는가?
• RQ3 컴팩트한 모델에 대해 아키텍처와 트레이닝 레시피를 공동 최적화할 경우 기대할 수 있는 성능 향상은 어느 정도인가?
• RQ4 발견된 트레이닝 레시피는 다양한 네트워크 아키텍처와 작업에 일반화되는가?
• RQ5 공동 탐색 프레임워크는 수동 설계된 모델과 자동 설계된 모델 모두를 능가하는 성능을 내는 모델을 생성할 수 있는가?

주요 결과

• FBNetV3는 FLOPs가 1.4배 적은 수준에서 EfficientNet과 동일한 정확도를 달성하여 뛰어난 효율성을 입증한다.
• FBNetV3는 FLOPs가 5.0배 적은 수준에서 ResNeSt와 동일한 정확도를 달성하여 뚜렷한 계산적 이점이 있음을 시사한다.
• JointNAS로 최적화된 트레이닝 레시피는 여러 네트워크와 작업에서 성능 향상을 이끌어내어 강력한 일반화 능력을 보인다.
• 신경 추출 함수는 탐색 단계에서 전체 훈련을 수행하지 않아도 효과적인 공동 탐색을 가능하게 한다.
• 이 방법은 수동 설계된 모델과 이전의 NAS 최적화 모델을 모두 능가하는 아키텍처-레시피 조합을 발견한다.
• 사전 훈련된 추출 함수는 거친 탐색과 세밀한 탐색을 효과적으로 안내함으로써 탐색 비용을 크게 감소시킨다.