[논문 리뷰] Resource Constrained Neural Network Architecture Search: Will a Submodularity Assumption Help?

Yunyang Xiong, Ronak Mehta외 1명|arXiv (Cornell University)|2019. 04. 08.

Advanced Neural Network Applications참고 문헌 41인용 수 4

한 줄 요약

이 논문은 자원 제약 조건 하에서 신경망 아키텍처 탐색(NAS)을 위한 서브모듈라리티 기반 히우리스틱을 제안하며, 재사용 가능한 블록 집합에서의 집합 함수 최적화로 아키텍처 탐색을 재정의한다. FLOPs 및 파라미터 제약 조건 하에서 그린드 서브모듈라리티 최적화를 활용함으로써, CIFAR-100 및 ImageNet에서 효율적이고 고정도의 모델을 식별한다. 이는 이전 강화학습 기반 접근 방식 대비 최대 3배 적은 파라미터와 300배 적은 계산 자원을 사용하여 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

The design of neural network architectures is frequently either based on human expertise using trial/error and empirical feedback or tackled via large scale reinforcement learning strategies performed over distinct discrete architecture choices. In the latter case, the optimization is often non-differentiable and also not very amenable to derivative-free optimization methods. Most methods in use today require sizable computational resources. And if we want networks that additionally satisfy resource constraints, the above challenges are exacerbated because the search must now balance accuracy with certain budget constraints on resources. We formulate this problem as the optimization of a set function -- we find that the empirical behavior of this set function often (but not always) satisfies marginal gain and monotonicity principles -- properties central to the idea of submodularity. Based on this observation, we adapt algorithms within discrete optimization to obtain heuristic schemes for neural network architecture search, where we have resource constraints on the architecture. This simple scheme when applied on CIFAR-100 and ImageNet, identifies resource-constrained architectures with quantifiably better performance than current state-of-the-art models designed for mobile devices. Specifically, we find high-performing architectures with fewer parameters and computations by a search method that is much faster.

연구 동기 및 목표

• 기존 신경망 아키텍처 탐색(NAS) 방법의 높은 계산 비용과 자원 인식 부족 문제를 해결하기 위해.
• 사용자 정의된 모델 크기 및 FLOPs 제약 조건을 준수하는 확장성 있고, 미분 가능하며 효율적인 NAS 프레임워크를 개발하기 위해.
• 기본 정확도 함수가 서브모듈라리티 성질을 갖지 않음에도 불구하고, 서브모듈라리티 최적화 원리가 효과적인 아키텍처 탐색을 이끌 수 있는지 조사하기 위해.
• 정확도, 파라미터 수, 추론 효율성의 균형을 이룬 고성능의 모바일 대응 신경망 아키텍처를 식별하기 위해.

제안 방법

• 재사용 가능한 기능 블록 집합에서의 집합 함수 최적화로 아키텍처 탐색을 설정하며, 각 블록 선택은 최종 모델의 정확도 및 자원 비용에 기여한다.
• 실험적으로 정확도 함수가 감소 수익과 단조성 성질을 보임을 관찰하여, 서브모듈라리티의 핵심 성질을 만족함을 확인하고, 이에 기반한 히우리스틱 적용이 가능함을 밝힌다.
• 서브모듈라리티 최적화에서 성능 보장을 갖는 그린드 알고리즘을 변형하여 FLOPs 및 파라미터 제약 조건 하에서 효율적인 아키텍처 탐색을 수행한다.
• 후기 정지와 가중치 공유를 사용하여 탐색 중 후보 아키텍처의 평가를 가속화한다.
• 작은 데이터셋에서의 사전 학습 없이 ImageNet에서 직접 탐색을 수행함으로써 대규모 벤치마크로의 이식 가능성을 확보한다.
• 실제 모바일 디바이스에서의 추론 지연을 측정하기 위해 최종 모델을 CoreML을 사용해 배포한다.

실험 결과

연구 질문

• RQ1 엄격한 자원 제약 조건 하에서 서브모듈라리티 최적화 히우리스틱이 신경망 아키텍처 탐색을 효과적으로 이끌 수 있는가?
• RQ2 서브모듈라리티 성질을 수학적으로 만족하지 않더라도, 신경망 아키텍처 정확도 함수의 경험적 마진 수익 행동이 서브모듈라리티를 유사하게 보이는가?
• RQ3 그린드 서브모듈라리티 기반 탐색이 기존 강화학습 또는 진화 기반 NAS 방법보다 더 나은 정확도-효율성 트레이드오프를 달성할 수 있는가?
• RQ4 ImageNet에서 탐색된 모델이 직접적으로 수작업으로 설계된 모바일 네트워크(MobileNetV2)와 유사한 성능을 달성할 수 있는가?

주요 결과

• CIFAR-100에서 제안된 RCAS 방법은 340만 파라미터와 2.94억 FLOPs를 사용해 72.2%의 상위-1 정확도를 달성하며, 유사한 제약 조건 하에서 MobileNetV2보다 0.2% 높은 성능을 보였다.
• ImageNet에서 RCNet은 470만 파라미터와 4.71억 FLOPs를 사용해 74.7%의 상위-1 정확도를 달성했으며, 유사한 계산 예산 하에서 DARTS보다 1.6% 높고, DPP-Net-Panaca보다 0.7% 높았다.
• RCNet 모델은 iPhone 5s에서 MobileNetV2와 유사한 추론 속도(183.5ms 대 197.2ms)를 기록했으며, 모델 크기는 14.6MB로 MobileNetV2(14.7MB)와 유사했다.
• 탐색 과정은 ImageNet에서 8일 간의 GPU 사용만으로 이루어졌으며, 이는 이전 강화학습 기반 NAS 방법인 DARTS가 약 3150일 간의 GPU를 소비한다는 점을 감안할 때 300배의 감소를 의미한다.
• 최종 아키텍처는 다양한 블록 유형(예: [5,1,4,5,1,5,2,4,1,6,4,6,5,3,3,6,3,6])을 사용하여 반복적인 블록 패tern보다 성능 향상을 이룬다는 점을 시사한다.
• 이식 가능성은 입증되었다: CIFAR-100에서 사전 학습한 모델를 ImageNet에서 재학습한 결과, 유사한 복잡도로 MobileNetV2와 유사한 성능을 달성했다.