[논문 리뷰] Probabilistic Neural Architecture Search

Francesco Paolo Casale, Jonathan Gordon외 1명|arXiv (Cornell University)|2019. 02. 13.

Advanced Neural Network Applications참고 문헌 30인용 수 70

한 줄 요약

PARSEC은 메모리 효율적인 확률적 NAS를 도입하여 고성능 아키텍처들의 분포를 학습하고, 이는 작은 대리 문제에서 더 큰 작업으로 전이 가능하며, 훨씬 낮은 검색 비용으로 경쟁력 있는 결과를 달성한다.

ABSTRACT

In neural architecture search (NAS), the space of neural network architectures is automatically explored to maximize predictive accuracy for a given task. Despite the success of recent approaches, most existing methods cannot be directly applied to large scale problems because of their prohibitive computational complexity or high memory usage. In this work, we propose a Probabilistic approach to neural ARchitecture SEarCh (PARSEC) that drastically reduces memory requirements while maintaining state-of-the-art computational complexity, making it possible to directly search over more complex architectures and larger datasets. Our approach only requires as much memory as is needed to train a single architecture from our search space. This is due to a memory-efficient sampling procedure wherein we learn a probability distribution over high-performing neural network architectures. Importantly, this framework enables us to transfer the distribution of architectures learnt on smaller problems to larger ones, further reducing the computational cost. We showcase the advantages of our approach in applications to CIFAR-10 and ImageNet, where our approach outperforms methods with double its computational cost and matches the performance of methods with costs that are three orders of magnitude larger.

연구 동기 및 목표

• 대규모 데이터세트에 대해 메모리 사용이 과도하지 않으면서도 NAS를 확장하려는 동기를 제시한다.
• 고성능 아키텍처들의 분포를 학습하는 확률적 프레임워크를 제안한다.
• 작은 대리 문제에서의 아키텍처 분포를 더 큰 네트워크와 데이터세트로 전이할 수 있도록 한다.
• CIFAR-10과 ImageNet에서 동료들에 비해 계산 비용을 줄이고도 경쟁력 있는 결과를 달성한다.

제안 방법

• 7개의 기본 연산을 사용하는 normal 및 reduction 셀로 구성된 셀 기반 탐색 공간을 정의한다.
• 각 노드의 입력/연산 선택에 대해 독립적인 범주형 인수로 구성된 사전 분포 p(α|π)를 도입한다.
• 아키텍처 탐색을 조건부 우도 p(y|X,v,π)=∫ p(y|X,v,α)p(α|π)dα로 공식화하고 중요 샘플링 기반 몬테카를로 경험적 베이즈로 최적화한다.
• p(α|π)로부터 자식 아키텍처를 샘플링하고 중요 가중치를 계산하여 네트워크 가중치 v와 아키텍처 하이퍼파라미터 π를 업데이트한다.
• 이 샘플링 기반 접근법으로 단일 아키텍처의 학습과 동일한 메모리 사용을 제약하여 완전한 크기의 네트워크에 대한 직접 탐색이 가능하도록 한다.
• 선택적으로 학습된 아키텍처 분포를 더 큰 네트워크나 데이터세트로 전이하고 대상 작업에서 미세조정한다.

실험 결과

연구 질문

• RQ1 확률적 NAS 프레임워크가 고성능 아키텍처들의 분포를 학습하고 단일 아키텍처를 학습하는 메모리 효율과 유사하게 학습될 수 있는가?
• RQ2 작은 대리 문제에서 학습된 아키텍처 분포를 더 큰 네트워크/데이터세트로 전이하는 것이 효율성과 성능을 향상시키는가?
• RQ3 PARSEC의 성능 및 탐색 비용이 CIFAR-10과 ImageNet에서 최첨단 NAS 방법들과 어떻게 비교되는가?
• RQ4 완전한 크기의 네트워크에서 아키텍처 분포를 미세조정하는 것이 최종 정확도에 이익이 있는가?

주요 결과

• PARSEC은 CIFAR-10에서 유사한 탐색 공간 비용을 가진 방법의 성능에 대해 일치하거나 이를 능가하며, 대형 네트워크에서의 미세조정 후에는 결과가 더 향상된다.
• 메모리 사용량이 단일 아키텍처를 학습하는 것과 동일하므로 완전한 크기의 네트워크 및 더 큰 데이터세트에 대한 직접 탐색이 가능하다.
• 작은 대리 네트워크에서 학습된 아키텍처 분포를 더 큰 문제로 전이하여 미세조정할 수 있어 전체 계산 비용을 줄일 수 있다.
• CIFAR-10에서 미세조정된 PARSEC은 많은 기준선 대비 탐색 비용이 크게 낮으면서도 경쟁력 있는 정확도를 달성한다.
• ImageNet에서 PARSEC이 식별한 아키텍처는 비슷한 탐색 비용의 방법들보다 우수하며 더욱 비싼 접근법의 성능에 근접한다.
• CIFAR-10의 최적 PARSEC 네트워크와 이후 ImageNet에서의 미세조정은 강력한 확장성과 효율성을 보여주며 비용 측면에서 동종 분야의 다수 경쟁자보다 수 차례의 차이로 앞선다.