[논문 리뷰] Evaluating Efficient Performance Estimators of Neural Architectures

Xuefei Ning, Changcheng Tang외 5명|arXiv (Cornell University)|2020. 08. 07.

Adversarial Robustness in Machine Learning참고 문헌 68인용 수 30

한 줄 요약

이 논문은 여러 NAS 벤치마크에서 신경망 아키텍처 검색(NAS)을 위한 원샷 추정기(OSE)와 제로샷 추정기(ZSE)를 평가하는 포괄적 프레임워크를 제공하고, 이들의 편향과 분산을 분석하며 신뢰성을 개선하기 위한 전략들을 제시한다.

ABSTRACT

Conducting efficient performance estimations of neural architectures is a major challenge in neural architecture search (NAS). To reduce the architecture training costs in NAS, one-shot estimators (OSEs) amortize the architecture training costs by sharing the parameters of one "supernet" between all architectures. Recently, zero-shot estimators (ZSEs) that involve no training are proposed to further reduce the architecture evaluation cost. Despite the high efficiency of these estimators, the quality of such estimations has not been thoroughly studied. In this paper, we conduct an extensive and organized assessment of OSEs and ZSEs on five NAS benchmarks: NAS-Bench-101/201/301, and NDS ResNet/ResNeXt-A. Specifically, we employ a set of NAS-oriented criteria to study the behavior of OSEs and ZSEs and reveal that they have certain biases and variances. After analyzing how and why the OSE estimations are unsatisfying, we explore how to mitigate the correlation gap of OSEs from several perspectives. Through our analysis, we give out suggestions for future application and development of efficient architecture performance estimators. Furthermore, the analysis framework proposed in our work could be utilized in future research to give a more comprehensive understanding of newly designed architecture performance estimators. All codes are available at https://github.com/walkerning/aw_nas.

연구 동기 및 목표

• NAS를 위한 효율적 아키텍처 성능 추정기(OSE 및 ZSE)의 품질을 평가한다.
• 다양한 NAS 벤치마크에서 편향, 분산 및 실패 모드를 식별한다.
• 추정 격차를 완화하고 순위 신뢰성을 향상시키기 위한 실용적 전략을 제공한다.

제안 방법

• 다섯 개의 NAS 벤치마크에서 다양한 OSE(원샷 추정기)와 ZSE(제로샷 추정기)를 검토하고 비교한다.
• estimator의 품질을 평가하기 위해 NAS 지향 지표(Pearson LC, Kendall의 Tau, SpearmanR, P@topK, BR@K, WR@K)를 사용한다.
• 복잡도-수준, 연산-수준, 아키텍처-수준에서의 편향을 분석하여 추정 실패의 원인을 설명한다.
• 훈련, 검증 데이터 크기 및 샘플링 전략이 관찰에 어떤 영향을 미치는지 조사한다.
• 편향 감소, 비동형 샘플링(de-isomorphic sampling), 공유 정도 감소 등 완화 기법을 제안한다.

실험 결과

연구 질문

• RQ1 다양한 NAS 벤치마크에서 OSE와 ZSE가 아키텍처 순위를 어떻게 매기는가?
• RQ2 주요 편향과 분산은 무엇이며 왜 발생하는가?
• RQ3 제안된 전략이 OSE와 ZSE의 상관 관계 격차를 완화하고 순위 품질을 향상시킬 수 있는가?
• RQ4 원샷 학습 및 입력 데이터 특성이 ZSE와 OSE의 효과에 어떤 영향을 미치는가?
• RQ5 NAS 실무에서 효율적 추정기를 적용하기 위한 실용적인 지침은 무엇인가?

주요 결과

• 더 긴 훈련과 더 큰 검증 데이터가 있을 때 OSE가 일반적으로 성능을 개선하지만, 초기 훈련 단계에서 간단한 아키텍처에 편향이 남아 있을 수 있다.
• 매개변수 공유 및 기억 상실 효과로 인해 OSE에 분산이 나타나며, 샘플링의 공정성도 편향에 영향을 줄 수 있다.
• 공유 정도를 감소시키고 비동형 샘플링을 채택하면 특히 동형(isomorphic) 공간에서 OSE의 순위 품질을 개선할 수 있다.
• 제로샷 추정기(ZSE)는 종종 #Params 및 #FLOPs와 같은 간단한 기준에 비해 성능이 떨어지며, 아키텍처-수준 ZSE는 공간 의존적 동작을 보인다.
• ZSE들 중 relu_logdet와 jacob_cov는 탐색 공간에 따라 상대적으로 강점이 다르지만, 많은 ZSE들이 특정 아키텍처 특성에 대한 편향이 부적절하게 나타난다.
• 원샷 학습은 일반적으로 ZSE를 향상시키지 않으며, 그라디언트 기반 ZSE는 훈련 후 그라디언트 크기가 덜 정보적이 되면서 악화될 수 있다.