[논문 리뷰] FBNetV2: Differentiable Neural Architecture Search for Spatial and Channel Dimensions

Alvin Wan, Xiaoliang Dai외 10명|arXiv (Cornell University)|2020. 04. 12.

Advanced Neural Network Applications참고 문헌 38인용 수 29

한 줄 요약

FBNetV2는 특징 맵 재사용을 위한 마스킹 메커니즘을 사용함으로써 공간(입력 해상도) 및 채널 차원(필터 수)에 대한 효율적인 동시 탐색을 가능하게 하는 차별형 신경망 아키텍처 탐색(DMaskingNAS) 방법을 도입한다. 이 방법은 메모리 및 계산 비용이 거의 일정한 상태에서 탐색 공간을 최대 10^14배로 확장하며, MobileNetV3-Small 대비 15% 적은 FLOPs, Efficient-B0 대비 20% 적은 FLOPs로 최신 기준 성능을 달성한다.

ABSTRACT

Differentiable Neural Architecture Search (DNAS) has demonstrated great success in designing state-of-the-art, efficient neural networks. However, DARTS-based DNAS's search space is small when compared to other search methods', since all candidate network layers must be explicitly instantiated in memory. To address this bottleneck, we propose a memory and computationally efficient DNAS variant: DMaskingNAS. This algorithm expands the search space by up to $10^{14} imes$ over conventional DNAS, supporting searches over spatial and channel dimensions that are otherwise prohibitively expensive: input resolution and number of filters. We propose a masking mechanism for feature map reuse, so that memory and computational costs stay nearly constant as the search space expands. Furthermore, we employ effective shape propagation to maximize per-FLOP or per-parameter accuracy. The searched FBNetV2s yield state-of-the-art performance when compared with all previous architectures. With up to 421$ imes$ less search cost, DMaskingNAS finds models with 0.9% higher accuracy, 15% fewer FLOPs than MobileNetV3-Small; and with similar accuracy but 20% fewer FLOPs than Efficient-B0. Furthermore, our FBNetV2 outperforms MobileNetV3 by 2.6% in accuracy, with equivalent model size. FBNetV2 models are open-sourced at https://github.com/facebookresearch/mobile-vision.

연구 동기 및 목표

• DNAS에서 메모리 및 계산 비용이 큰 제약을 받는 문제를 해결하여, 특히 공간 및 채널 차원의 탐색 공간 크기를 제한하지 않도록 하는 것.
• 메모리나 계산 비용이 과도하지 않도록, 차별형 프레임워크 내에서 입력 해상도와 필터 수를 동시에 탐색할 수 있도록 하는 것.
• ImageNet에서 효율적인 신경망에 대해 정확도, FLOPs, 모델 크기 측면에서 최신 기준 성능을 달성하는 것.
• 대규모 아키텍처 탐색을 지원하면서도 훈련 효율성을 유지하는 확장 가능하고 메모리 효율적인 DNAS 방법을 개발하는 것.

제안 방법

• 공유 슈퍼그래프 내에서 다수의 채널 및 해상도 옵션을 표현하기 위해 학습 가능한 마스크를 사용하는 DNAS의 변종인 DMaskingNAS를 도입하여 동시 최적화를 가능하게 한다.
• 특징 맵이 가중치 마스크 조합을 통해 모든 채널 및 해상도 옵션 간에 재사용되도록 마스킹 메커니즘을 적용함으로써 메모리 및 계산 오버헤드를 최소화한다.
• 탐색 중 정확한 기울기 전파 및 성능 추정을 보장하기 위해 효과적인 형태 전파 기법을 적용하여 FLOPs 및 파라미터 당 정확도를 극대화한다.
• 훈련 중 최적의 채널 및 해상도 구성 선택을 위해 Gumbel-Softmax를 사용한 가중치 공유 근사 기법을 적용한다.
• 채널 수, 커널 크기, 레이어 수, 버티브 블록 유형, 입력 해상도, 확장 비율의 6개 아키텍처 차원을 동시에 탐색할 수 있도록 지원한다.
• 모든 후보 아키텍처가 암시적으로 표현되는 슈퍼그래프 설정을 활용하여, 극도로 확장된 탐색 공간에서 엔드 투 엔드 차별형 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 DNAS가 메모리나 계산 비용이 과도하지 않도록 하면서도 공간(입력 해상도) 및 채널(필터 수) 차원에 대해 효율적으로 탐색할 수 있는가?
• RQ2 큰 수의 채널 및 해상도 옵션 간에 특징 맵 재사용을 어떻게 달성하여 탐색 중 메모리 사용량을 거의 일정하게 유지할 수 있는가?
• RQ3 차별형 탐색 프레임워크가 최신 기준 성능을 달성하기 위해 매크로 아키텍처(해상도, 채널 수)와 마이크로 아키텍처(블록)를 동시에 최적화할 수 있는가?
• RQ4 기존 방법 대비 최대 10^14배로 확장된 탐색 공간이 최종 모델의 정확도 및 효율성에 미치는 영향은 무엇인가?
• RQ5 제안된 방법이 기존 수작업 및 자동 설계된 모델보다 더 낮은 FLOPs 또는 파라미터 수로 뛰어난 정확도를 달성할 수 있는가?

주요 결과

• FBNetV2-F1은 56M FLOPs로 ImageNet에서 68.3%의 top-1 정확도를 달성하며, MobileNetV3-Small 대비 0.9% 높은 정확도를 기록하고 FLOPs는 15% 적게 소모한다.
• FBNetV2-F4는 238M FLOPs로 76.0%의 top-1 정확도를 기록하며, ResNet-50의 정확도를 충족하지만 훨씬 더 효율적이다.
• FBNetV2-P1은 단지 4M 파라미터로 MobileNetV3 대비 2.6% 높은 정확도, FBNet 대비 2.9% 높은 정확도를 기록하여 뛰어난 파라미터 효율성을 입증한다.
• FBNetV2의 탐색 비용은 8개 GPU에서 27시간으로, 더 높은 정확도를 기록함에도 불구하고 MobileNetV3-Small의 탐색 비용 대비 421배 적다.
• DMaskingNAS는 블록당 32개의 채널 옵션을 지원할 때도 거의 일정한 메모리 비용을 유지하지만, 기존 DNAS는 8개 옵션을 초과하면 메모리에 들어가지 못한다.
• FBNetV2-L1은 325M FLOPs로 77.2%의 top-1 정확도를 기록하며, FLOPs가 390M인 EfficientNet-B0(77.3%)를 뛰어넘어 더 뛰어난 FLOP 효율성을 입증한다.