[논문 리뷰] PONAS: Progressive One-shot Neural Architecture Search for Very Efficient Deployment

Sian-Yao Huang, Wei-Ta Chu|arXiv (Cornell University)|2020. 03. 11.

Advanced Neural Network Applications참고 문헌 26인용 수 4

한 줄 요약

PONAS는 하드웨어 제약 조건에 맞는 배포를 위해 초단위 내에서 아키텍처 검색이 가능한 점진적 일회성 신경망 아키텍처 탐색 방법을 제안한다. 슈퍼넷 학습 기간 동안 정확도 테이블을 구성함으로써 각 레이어의 후보 블록의 검증 정확도를 저장함으로써, 약 10초 내에 특화된 네트워크 선택을 즉시 수행할 수 있다. 이로 인해 최소한의 검색 비용으로 ImageNet에서 75.2%의 Top-1 정확도를 달성한다.

ABSTRACT

We achieve very efficient deep learning model deployment that designs neural network architectures to fit different hardware constraints. Given a constraint, most neural architecture search (NAS) methods either sample a set of sub-networks according to a pre-trained accuracy predictor, or adopt the evolutionary algorithm to evolve specialized networks from the supernet. Both approaches are time consuming. Here our key idea for very efficient deployment is, when searching the architecture space, constructing a table that stores the validation accuracy of all candidate blocks at all layers. For a stricter hardware constraint, the architecture of a specialized network can be very efficiently determined based on this table by picking the best candidate blocks that yield the least accuracy loss. To accomplish this idea, we propose Progressive One-shot Neural Architecture Search (PONAS) that combines advantages of progressive NAS and one-shot methods. In PONAS, we propose a two-stage training scheme, including the meta training stage and the fine-tuning stage, to make the search process efficient and stable. During search, we evaluate candidate blocks in different layers and construct the accuracy table that is to be used in deployment. Comprehensive experiments verify that PONAS is extremely flexible, and is able to find architecture of a specialized network in around 10 seconds. In ImageNet classification, 75.2% top-1 accuracy can be obtained, which is comparable with the state of the arts.

연구 동기 및 목표

• 다양한 하드웨어 제약 조건을 고려한 모델 탐색 및 특화에 소요되는 높은 계산 비용을 해결하기 위해.
• 비용이 많이 들지 않는 재학습 과정을 분리함으로써 효율적이고 하드웨어 최적화된 신경망의 초고속 배포를 가능하게 하기 위해.
• 다양한 FLOPs 및 지연 시간 제약 조건에 맞는 모델의 빠른 맞춤형 설정을 지원하는 확장성 있고 유연한 NAS 프레임워크를 개발하기 위해.
• 슈퍼넷 학습을 위한 이중 단계 학습 방식을 통해 학습 안정성과 효율성을 향상시키기 위해.

제안 방법

• 이중 단계 학습 방식을 제안: 메타 학습을 통해 슈퍼넷을 초기화하고, 미세 조정을 통해 성능을 안정화 및 향상시킴.
• 검색 기간 동안 각 레이어의 후보 블록의 검증 정확도를 기록하는 정확도 테이블을 구성함.
• 정확도 테이블을 정확도 손실 영역으로 변환하여 블록 중요도의 레이어 간 비교를 가능하게 함.
• 하드웨어 제약 조건 하에서 후보 아키텍처를 신속하게 평가하기 위해 재학습이나 진화적 탐색 대신 테이블 조회를 활용함.
• 각 레이어에서 독립적으로 최상의 블록을 선택하는 점진적 탐색을 통해 이질적인 레이어 설계를 허용함.
• 다양한 레이어의 중요도를 정량화하고 효율적인 특화를 이끌어내기 위해 정확도 손실 지표를 활용함.

실험 결과

연구 질문

• RQ1 일회성 NAS 방법이 하드웨어 제약 조건에 맞는 모델에 대해 10초 이내 아키텍처 탐색을 달성할 수 있는가?
• RQ2 사전에 구성된 정확도 테이블이 특화된 네트워크에 대해 정확하고 효율적인 성능 예측을 가능하게 하는가?
• RQ3 레이어 간 정확도 손실 측정이 블록 중요도의 효과적인 순위 매기기와 더 나은 네트워크 특화를 이끌어낼 수 있는가?
• RQ4 이중 단계 학습 전략이 슈퍼넷 학습에서 무작위 초기화와 비교해 수렴 속도와 안정성을 향상시키는가?

주요 결과

• PONAS는 ImageNet에서 75.2%의 Top-1 정확도를 달성하여, 상당히 낮은 검색 비용에도 불구하고 최신 기술 수준의 성능을 보였다.
• 단지 테이블 조회만으로도 약 10초 내에 아키텍처 특화를 완료할 수 있어 이전의 일회성 NAS 방법보다 시간을 크게 단축시켰다.
• 정확도 손실 지표는 실제 검증 정확도와 강한 Kendall’s τ 상관관계(0.733)를 보이며, 성능 예측의 신뢰성을 입증하였다.
• 비대칭 채널 차원을 가진 더 중요한 레이어에서 블록을 교체할 경우 더 큰 정확도 향상이 발생함을 확인하여 중요도 지표의 타당성을 입증하였다.
• 이중 단계 학습 전략은 무작위 초기화와 비교해 수렴 속도가 빠르고 안정성이 더 높음을 훈련 곡선 비교를 통해 입증하였다.
• 가장 낮은 중요도의 레이어에 블록을 교체한 모델(295M FLOPs)이 가장 낮은 중요도의 레이어에 블록을 교체한 모델(305M FLOPs)보다 더 낮은 FLOPs로 73.9%의 Top-1 정확도를 달성하여, 레이어 중요도 인식 기반 특화의 효과성을 입증하였다.