[논문 리뷰] K-shot NAS: Learnable Weight-Sharing for NAS with K-shot Supernets

Xiu Su, Shan You외 5명|arXiv (Cornell University)|2021. 06. 11.

Machine Learning and Data Classification참고 문헌 42인용 수 6

한 줄 요약

이 논문은 K-shot NAS를 제안하며, 단일 슈퍼넷 가중치 공유 방식을 각 연산당 K개의 슈퍼넷으로 구성된 사전으로 대체함으로써 단일 경로에 특화된 가중치 조합을 가능하게 하는 학습 가능한 가중치 공유 프레임워크이다. 이는 단일 학습 가중치를 보다 효과적으로 근사함으로써 아키텍처 평가 정확도를 향상시키며, 단지 412M FLOPs로 ImageNet에서 77.9%의 Top-1 정확도를 달성한다.

ABSTRACT

In one-shot weight sharing for NAS, the weights of each operation (at each layer) are supposed to be identical for all architectures (paths) in the supernet. However, this rules out the possibility of adjusting operation weights to cater for different paths, which limits the reliability of the evaluation results. In this paper, instead of counting on a single supernet, we introduce $K$-shot supernets and take their weights for each operation as a dictionary. The operation weight for each path is represented as a convex combination of items in a dictionary with a simplex code. This enables a matrix approximation of the stand-alone weight matrix with a higher rank ($K>1$). A extit{simplex-net} is introduced to produce architecture-customized code for each path. As a result, all paths can adaptively learn how to share weights in the $K$-shot supernets and acquire corresponding weights for better evaluation. $K$-shot supernets and simplex-net can be iteratively trained, and we further extend the search to the channel dimension. Extensive experiments on benchmark datasets validate that K-shot NAS significantly improves the evaluation accuracy of paths and thus brings in impressive performance improvements.

연구 동기 및 목표

• 모든 경로에 걸쳐 공유되는 가중치가 성능 평가 정확도를 저해하는 단일 샘플 NAS의 한계를 해결하기 위해.
• 각 경로가 고유한 연산 가중치를 적응적으로 학습할 수 있도록 함으로써 슈퍼넷 기반 NAS의 신뢰성을 향상시키기 위해.
• K-shot 슈퍼넷 사전과 경로별 코드를 통해 단일 학습 가중치의 고차원 행렬 근사를 가능하게 하기 위해.
• 채널 폭으로의 탐색을 확장하기 위해 비모수적 정규화를 도입하여 코드 생성의 분류 성능을 향상시키기 위해.
• 학습 가능한, 아키텍처에 맞춤형으로 조정된 가중치 공유가 최종 모델 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 각 연산이 단일 공유 가중치가 아닌 K개의 가중치 벡터로 구성된 사전을 유지하는 K-shot 슈퍼넷을 도입한다.
• 경로의 각 연산 가중치를 심플렉스 코드 벡터 λ를 통해 K개의 사전 항목의 볼록 조합으로 표현한다.
• 아키텍처 및 채널 폭 인코딩을 기반으로 경로별로 고유한 코드 λ를 생성하는 심플렉스넷을 설계한다.
• 가중치 공유 문제를 고차원 행렬 근사 문제로 재정의하여 단일 샘플 NAS의 랭크-1 제약을 초월한다.
• 다양한 채널 폭 간 코드의 분류 성능을 향상시키기 위해 비모수적 정규화를 통합한다.
• K-shot 슈퍼넷과 심플렉스넷을 반복 최적화 기반의 공동 학습 기법으로 함께 훈련한다.

실험 결과

연구 질문

• RQ1 학습 가능한 가중치 공유를 갖춘 K-shot 슈퍼넷이 단일 샘플 NAS보다 경로 평가 정확도를 향상시킬 수 있는가?
• RQ2 경로별로 고유한 심플렉스 코드를 사용할 경우, 단일 학습 가중치 근사에 어떤 영향을 미치는가?
• RQ3 특화된 정규화를 통해 채널 폭으로의 탐색을 확장하면 최종 모델 성능이 향상되는가?
• RQ4 학습 효율성과 정확도 측면에서 슈퍼넷 수(K)와 훈련 에포크 수 사이의 상호 보완적 관계는 어떠한가?
• RQ5 제안된 방법이 낮은 FLOP 예산에서도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• K-shot NAS는 단지 412M FLOPs로 ImageNet에서 77.9%의 Top-1 정확도를 달성하여 기존 단일 샘플 NAS 기반 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 경로별로 가중치를 적응적으로 조정할 수 있도록 함으로써 평가 정확도를 향상시켜 슈퍼넷 순위와 Oracle 성능 간 격차를 줄였다.
• K-shot 설정에서 고정되거나 무작위로 할당된 코드 대비 학습된 심플렉스넷을 사용할 경우 정확도가 0.28% 향상되었다.
• 학습된 심플렉스 코드의 히스토그램은 넓고 다양한 분포를 보이며, 효과적인 경로별 가중치 적응을 나타낸다.
• 상호보완성 분석 결과 K=8가 학습 비용과 성능 사이의 균형을 잘 맞추는 것으로 나타났으며, 더 큰 K 값은 수렴을 위해 더 많은 에포크가 필요하다.
• 비모수적 정규화는 다양한 채널 폭 간 코드의 분류 성능을 향상시켜 공동 탐색에서 성능 향상에 기여하였다.