[논문 리뷰] Learnable Embedding Space for Efficient Neural Architecture Compression

Shengcao Cao, Xiaofang Wang외 1명|arXiv (Cornell University)|2019. 02. 01.

Advanced Neural Network Applications인용 수 17

한 줄 요약

이 논문은 베이지안 최적화를 통해 데이터 기반으로 효율적인 아키텍처 선택을 가능하게 하는 학습 가능한 임베딩 공간을 제안한다. 아키텍처의 압축되고 이전 가능한 표현을 학습함으로써, 무작위 탐색, 강화 학습, ShuffleNet과 같은 최신 수준의 수작업 설계 모델을 능가하는 성능을 달성하여 압축 모델 탐색에서 뛰어난 정확도-성능 균형을 확보한다.

ABSTRACT

We propose a method to incrementally learn an embedding space over the domain of network architectures, to enable the careful selection of architectures for evaluation during compressed architecture search. Given a teacher network, we search for a compressed network architecture by using Bayesian Optimization (BO) with a kernel function defined over our proposed embedding space to select architectures for evaluation. We demonstrate that our search algorithm can significantly outperform various baseline methods, such as random search and reinforcement learning (Ashok et al., 2018). The compressed architectures found by our method are also better than the state-of-the-art manually-designed compact architecture ShuffleNet (Zhang et al., 2018). We also demonstrate that the learned embedding space can be transferred to new settings for architecture search, such as a larger teacher network or a teacher network in a different architecture family, without any training. Code is publicly available here: this https URL .

연구 동기 및 목표

• 압축 모델의 광범위한 탐색 공간을 탐색하는 데 있어 기존 신경망 아키텍처 탐색 방법의 비효율성을 해결하기 위해.
• 구조적이고 성능 관련 관계를 포괄하는 신경망 아키텍처의 압축되고 학습 가능한 표현을 개발하기 위해.
• 재학습 없이도 다른 교사 네트워크 간에 전이 가능한 아키텍처 탐색을 가능하게 하기 위해.
• 학습된 임베딩 공간을 기반으로 커널 기반의 베이지안 최적화를 통해 탐색 효율성과 모델 성능을 향상시키기 위해.

제안 방법

• 이 방법은 미분 가능한 아키텍처 인코딩 메커니즘을 사용하여 연속적이고 저차원의 임베딩 공간을 아키텍처 표현에 대해 학습한다.
• 학습된 임베딩 공간 위에 커널 함수를 정의하여 베이지안 최적화가 유망한 아키텍처를 평가하기 위해 유도한다.
• 베이지안 최적화는 커널을 사용하여 정확도-아키텍처 관계를 모델링하고 기대 개선도가 높은 아키텍처를 선택한다.
• 임베딩 공간은 교사 네트워크에서 학습되며, 새로운 탐색 작업에 대해 다른 교사 모델을 사용할 때도 직접 전이할 수 있다.
• 임베딩 기반의 할당 함수를 통해 가장 유망한 후보 아키텍처에 집중함으로써, 모든 후보 아키텍처의 비용이 큰 학습을 피한다.

실험 결과

연구 질문

• RQ1 학습 가능한 임베딩 공간이 압축 모델을 위한 신경망 아키텍처 탐색의 효율성과 성능을 향상시킬 수 있는가?
• RQ2 학습된 임베딩은 다양한 교사 네트워크와 아키텍처 패밀리 간에 얼마나 잘 일반화되는가?
• RQ3 임베딩 기반 탐색은 정확도와 샘플 효율성 측면에서 무작위 탐색과 강화 학습을 능가할 수 있는가?
• RQ4 재학습 없이도 임베딩 공간이 새로운 탐색 설정에 얼마나 잘 전이될 수 있는가?

주요 결과

• 제안된 방법은 아키텍처 탐색 과정에서 정확도와 샘플 효율성 측면에서 모두 무작위 탐색과 강화 학습을 뛰어넘는다.
• 발견된 압축 아키텍처는 최신 수준의 수작업 설계 아키텍처인 ShuffleNet보다 더 높은 정확도를 보인다.
• 학습된 임베딩 공간은 추가 학습 없이도 더 큰 교사 네트워크와 다른 아키텍처 패밀리를 포함한 새로운 탐색 작업으로 전이 가능하다.
• 평가 횟수가 적은 상태에서도 뛰어난 성능을 달성하여 탐색 과정에서 높은 샘플 효율성을 입증한다.