[논문 리뷰] ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding

Yibo Yang, Hongyang Li외 4명|arXiv (Cornell University)|2020. 10. 13.

Advanced Neural Network Applications참고 문헌 60인용 수 36

한 줄 요약

ISTA-NAS는 NAS를 희소 인코딩 문제로 형식화하여 압축 공간에서 미분 가능한 탐색을 수행하고 ISTA로 희소한 아키텍처를 복구한다; 두 단계 및 한 단계 방법을 제공하여 검색과 평가 간의 효율성과 일관성을 개선한다.

ABSTRACT

Neural architecture search (NAS) aims to produce the optimal sparse solution from a high-dimensional space spanned by all candidate connections. Current gradient-based NAS methods commonly ignore the constraint of sparsity in the search phase, but project the optimized solution onto a sparse one by post-processing. As a result, the dense super-net for search is inefficient to train and has a gap with the projected architecture for evaluation. In this paper, we formulate neural architecture search as a sparse coding problem. We perform the differentiable search on a compressed lower-dimensional space that has the same validation loss as the original sparse solution space, and recover an architecture by solving the sparse coding problem. The differentiable search and architecture recovery are optimized in an alternate manner. By doing so, our network for search at each update satisfies the sparsity constraint and is efficient to train. In order to also eliminate the depth and width gap between the network in search and the target-net in evaluation, we further propose a method to search and evaluate in one stage under the target-net settings. When training finishes, architecture variables are absorbed into network weights. Thus we get the searched architecture and optimized parameters in a single run. In experiments, our two-stage method on CIFAR-10 requires only 0.05 GPU-day for search. Our one-stage method produces state-of-the-art performances on both CIFAR-10 and ImageNet at the cost of only evaluation time.

연구 동기 및 목표

• NAS 검색에 사용되는 밀집 슈퍼넷과 평가에 사용되는 희소 타깃 넷 간의 격차를 줄이고자 하는 동기를 부여한다.
• 검색 중 희소성을 강화하기 위해 NAS를 희소 인코딩 문제로 형식화한다.
• ISTA 기반 아키텍처 복구를 포함한 압축 공간에서의 미분 가능 탐색을 개발한다.
• 타깃 넷 설정에서 검색과 평가를 하나의 단계로 통합하는 한 단계 ISTA-NAS를 도입한다.

제안 방법

• 중간 노드 각각이 희소한 연결 집합을 선택하는 방식으로 NAS를 희소 인코딩 문제로 표현한다.
• 측정 행렬 A를 이용하고 ISTA를 통해 희소 아키텍처 z를 복구하며 압축 공간에서 미분 가능 탐색을 수행한다.
• RIP 기반의 논거를 통해 압축 공간 탐색과 원래 공간의 아키텍처 사이의 등가성을 확립한다.
• 2단계 ISTA-NAS는 희소 서브 그래프에서의 z 복구와 네트워크 가중치 및 아키텍처 매개변수의 업데이트를 번갈아 수행한다.
• 한 단계 ISTA-NAS는 최종 아키텍처 매개변수를 BN 매개변수와 네트워크 가중치에 흡수하여 단일 실행에서 검색과 평가를 수행한다.

실험 결과

연구 질문

• RQ1 검색 과정에서 희소성을 강제하기 위해 NAS를 희소 인코딩 문제로 형식화할 수 있는가?
• RQ2 ISTA 복구를 이용한 압축 공간에서의 미분 가능 탐색이 사후 희소화(post-hoc sparsification)보다 평가와 더 잘 일치하는 아키텍처를 산출하는가?
• RQ3 타깃 넷 설정에서 한 단계 ISTA-NAS가 검색과 평가 간의 격차를 제거할 수 있는가?
• RQ4 CIFAR-10과 ImageNet에서 ISTA-NAS의 효율성 및 성능 향상이 최첨단 그래디언트 기반 NAS 방법과 비교해 어떠한가?

주요 결과

• 2단계 ISTA-NAS는 CIFAR-10에서 0.05 GPU-일(search cost)로 테스트 에러 2.54%를 달성한다.
• 한 단계 ISTA-NAS는 단일 실행에서 통합 검색 및 평가로 CIFAR-10에서 테스트 에러 2.36%에 도달한다.
• ImageNet에서 한 단계 ISTA-NAS는 그래디언트 기반 검색 비용이 다수의 2단계 방법들보다 낮은 상태에서 직접 Top-1 24.0% 및 Top-5 7.1%를 달성한다.
• CIFAR-10에서 2단계 ISTA-NAS는 배치 크기에 따라 검색 비용을 0.03–0.05 GPU-day까지 낮추고 검색과 평가 간의 상관 관계를 개선한다.
• CIFAR-10에서 한 단계 방법은 비교된 방법들 중 검색과 평가 간의 Kendall tau 상관관계가 가장 좋다.