[논문 리뷰] How to Train Your Super-Net: An Analysis of Training Heuristics in Weight-Sharing NAS

Kaicheng Yu, René Ranftl외 1명|arXiv (Cornell University)|2020. 03. 09.

Vehicle Routing Optimization Methods참고 문헌 44인용 수 26

한 줄 요약

이 논문은 가중치 공유 신경망 아키텍처 탐색(NAS)에서 훈련 히ュ리스틱을 체계적으로 평가하며, 일반적으로 사용되는 방법들인 경로 드롭아웃과 배치 정규화가 슈퍼넷 성능을 크게 떨어뜨린다는 것을 밝혀냈다. 희소 켄달-타우 상관계수 지표를 도입하고 하이퍼파라미터를 최적화함으로써 저자들은 NASBench-101에서 상관계수를 0.22에서 0.46으로 향상시켰으며, 공정한 NAS 비교를 위한 재현 가능한 기준을 확립했다.

ABSTRACT

Weight sharing promises to make neural architecture search (NAS) tractable even on commodity hardware. Existing methods in this space rely on a diverse set of heuristics to design and train the shared-weight backbone network, a.k.a. the super-net. Since heuristics and hyperparameters substantially vary across different methods, a fair comparison between them can only be achieved by systematically analyzing the influence of these factors. In this paper, we therefore provide a systematic evaluation of the heuristics and hyperparameters that are frequently employed by weight-sharing NAS algorithms. Our analysis uncovers that some commonly-used heuristics for super-net training negatively impact the correlation between super-net and stand-alone performance, and evidences the strong influence of certain hyperparameters and architectural choices. Our code and experiments set a strong and reproducible baseline that future works can build on.

연구 동기 및 목표

• 가중치 공유 NAS에서 일반적인 훈련 히ュ리스틱이 슈퍼넷 성능에 미치는 영향을 규명하고 평가하는 것.
• 일관되지 않은 하이퍼파라미터와 아키텍처 선택으로 인해 발생하는 NAS 방법 간의 공정한 비교 부족 문제를 해결하는 것.
• 슈퍼넷 훈련 품질 평가를 위한 더 신뢰할 수 있는 지표인 희소 켄달-타우를 제안하는 것.
• 랜덤 서치를 활용해 재현 가능한 최신 기준을 수립하는 것.
• 일부 널리 쓰이는 히ュ리스틱이 성능에 악영향을 미치며, 다른 일부는 영향을 거의 미치지 않는다는 것을 입증하는 것.

제안 방법

• 저자들은 NASBench-101, NASBench-201, DARTS-NDS 세 가지 벤치마크 검색 공간에서 체계적인 아블레이션 연구를 수행한다.
• 학습률, 배치 크기, 채널 너비, 경로 드롭아웃, 정규화 기법 등을 포함한 14개의 하이퍼파라미터와 아키텍처 선택 사항을 평가한다.
• 새로운 지표인 희소 켄달-타우(S-KdT)를 도입하여 슈퍼넷 순위와 진짜 독립형 모델 성능 간의 상관계수를 측정한다.
• 통제된 훈련 프로토콜을 사용하며, 프록시 지표(P > R 등)와 최종 아키텍처 성능을 모두 평가한다.
• 최적화된 하이퍼파라미터로 NASBench-101에서 슈퍼넷을 재학습하여 S-KdT를 기존 0.22에서 0.46으로 크게 향상시켰다.
• 모든 코드와 훈련된 모델을 공개하여 재현 가능성을 확보하고, 통합된 WS-NAS 기준으로 활용할 수 있도록 했다.

실험 결과

연구 질문

• RQ1 가중치 공유 NAS에서 어떤 훈련 히ュ리스틱이 슈퍼넷 성능과 최종 아키텍처 정확도 상관계수에 가장 큰 영향을 미치는가?
• RQ2 경로 드롭아웃, 배치 정규화, 가중치 초기화와 같은 일반적인 관행이 슈퍼넷 순위 신뢰성에 어떤 영향을 미치는가?
• RQ3 일반적으로 사용되는 슈퍼넷 정확도가 실제로 검색된 모델의 성능과 얼마나 관련이 있는가?
• RQ4 희소 켄달-타우와 같은 더 견고한 지표가 슈퍼넷 훈련 평가에서 표준 정확도를 능가할 수 있는가?
• RQ5 어떤 하이퍼파라미터와 아키텍처 선택 사항이 최소한의 계산 비용으로 높은 성능의 NAS를 달성하는 데 핵심적인가?

주요 결과

• 일반적으로 사용되는 슈퍼넷 정확도 지표는 최종 독립형 모델 성능과 낮은 상관계수(0.236)를 보이며, 평가 지표로서의 신뢰성이 떨어진다.
• 경로 드롭아웃 비율이 0.15 이상일 경우 성능이 심각하게 저하되며, NASBench-101에서 S-KdT가 0.236에서 0.186로 감소한다.
• 배치 정규화를 적용한 가중치 공유(WSBN)는 열악한 성능을 보이며, NASBench-101에서 S-KdT가 0.085로 급격히 떨어진다.
• 제안된 희소 켄달-타우 지표는 하이퍼파라미터 최적화 후 최종 모델 성능과 높은 상관계수(0.46)를 기록하여 유의미한 향상이 이루어졌다.
• 층수를 하나 줄이면 S-KdT가 0.236에서 0.214로 향상되며, 깊은 슈퍼넷이 항상 더 좋은 것은 아님을 시사한다.
• NASBench-101에서 최종 최적화된 슈퍼넷은 S-KdT가 0.46을 기록하여 기준 대비 93% 향상되었으며, 랜덤 서치로도 최신 기술 수준의 성능을 달성할 수 있게 되었다.