[논문 리뷰] HNAS: Hierarchical Neural Architecture Search on Mobile Devices.

Xin Xia, Wenrui Ding|arXiv (Cornell University)|2020. 05. 15.

Advanced Neural Network Applications참고 문헌 41인용 수 8

한 줄 요약

HNAS는 계층적 신경망 아키텍처 탐색 방법을 제안하며, 운영자 잘라내기를 통해 계층별로 운영자 탐색 공간을 구축함으로써, 이동 기기의 지연 시간 제약을 고려하면서도 각 계층에 대해 자동으로 운영자를 선택할 수 있도록 한다. 이동 기기 지연 시간 제약 하에서 HNAS가 생성한 모델은 ImageNet에서 수동으로 설계된 모델과 NAS 최적화 모델 모두를 능가한다.

ABSTRACT

Neural Architecture Search (NAS) has attracted growing interest. To reduce the search cost, recent work has explored weight sharing across models and made major progress in One-Shot NAS. However, it has been observed that a model with higher one-shot model accuracy does not necessarily perform better when stand-alone trained. To address this issue, in this paper, we propose a new method, named Hierarchical Neural Architecture Search (HNAS). Unlike previous approaches where the same operation search space is shared by all the layers in the supernet, we formulate a hierarchical search strategy based on operation pruning and build a layer-wise operation search space. In this way, HNAS can automatically select the operations for each layer. During the search, we also take the hardware platform constraints into consideration for efficient neural network model deployment. Extensive experiments on ImageNet show that under mobile latency constraint, our models consistently outperform state-of-the-art models both designed manually and generated automatically by NAS methods.

연구 동기 및 목표

• 기존 One-Shot NAS 방법의 한계를 해결한다. 즉, 높은 One-Shot 정확도가 단독 모델 성능과 상관관계가 없음.
• 신경망 아키텍처 탐색의 탐색 비용을 줄이면서도 이동 기기에서 높은 정확도를 유지한다.
• 하드웨어 플랫폼 제약 조건(예: 지연 시간)을 직접 NAS 과정에 통합하여 효율적인 구현을 가능하게 한다.
• 각 계층에 대해 자동으로 운영자를 선택할 수 있는 계층별 운영자 탐색 공간을 개발함으로써 모델의 효율성과 성능을 향상시킨다.

제안 방법

• 모든 계층에 공통으로 사용하는 탐색 공간 대신, 운영자 잘라내기를 기반으로 계층별로 운영자 탐색 공간을 생성하는 계층적 탐색 전략을 수립한다.
• 각 계층이 자체로 학습된 운영자 집합에서 동적으로 선택할 수 있는 계층별 운영자 선택 기능을 갖춘 슈퍼넷을 구축한다.
• 이동 기기 지연 시간 제약 조건을 탐색 과정에 통합하여 실제 구현 요구 조건을 충족하는 아키텍처를 우선순위로 정한다.
• 슈퍼넷 전반에 걸쳐 가중치 공유를 적용하여 학습 비용을 절감하면서도, 최종 단독 모델이 높은 정확도를 확보하도록 보장한다.
• 기울기 기반 운영자 선택이 가능한 미분 가능 탐색 전략을 적용하여 슈퍼넷의 엔드 투 엔드 학습을 가능하게 한다.
• 이동 기기 지연 시간 제약 조건 하에서 정확도와 효율성을 모두 확보하는 아키텍처를 선호하도록 탐색 과정을 최적화한다.

실험 결과

연구 질문

• RQ1 각 계층에 따라 다를 수 있는 계층적 운영자 탐색 공간이 공통 탐색 공간을 초월해 One-Shot NAS의 일반화 성능을 향상시킬 수 있는가?
• RQ2 계층 수준에서 운영자 잘라내기를 적용하면 기존의 공통 운영자 탐색 공간을 사용하는 전통적 NAS 대비 더 나은 단독 모델 성능을 달성할 수 있는가?
• RQ3 정확도를 희생시키지 않고도 이동 기기 지연 시간과 같은 하드웨어 인지 제약 조건을 NAS 과정에 얼마나 효과적으로 통합할 수 있는가?
• RQ4 이동 기기 배포 제약 조건 하에서 HNAS는 수동으로 설계된 모델이나 NAS를 통해 생성된 최신 기술 수준의 모델과 비교해 정확도와 효율성 측면에서 어떻게 성능을 냈는가?

주요 결과

• HNAS가 생성한 모델은 동일한 이동 기기 지연 시간 제약 조건 하에서 ImageNet에서 최신 기술 수준의 모델보다 높은 Top-1 정확도를 확보한다.
• 계층별 운영자 선택을 통한 계층적 탐색 전략은 공통 운영자 탐색 공간을 사용하는 전통적 One-Shot NAS 모델 대비 더 나은 단독 모델 성능을 제공한다.
• HNAS로 탐색된 모델들은 정확도-효율성 트레이드오프 측면에서 수동으로 설계된 모델과 NAS로 생성된 모델 모두를 능가한다.
• 탐색 과정 중 하드웨어 지연 시간 제약 조건을 통합함으로써, 정확도가 높을 뿐 아니라 최소한의 지연 시간 오버헤드로도 이동 기기 플랫폼에 쉽게 구현 가능한 아키텍처가 도출된다.