[논문 리뷰] EZNAS: Evolving Zero Cost Proxies For Neural Architecture Scoring

Yash Akhauri, J. Pablo Munoz외 2명|arXiv (Cornell University)|2022. 09. 15.

Machine Learning in Materials Science인용 수 5

한 줄 요약

EZNAS는 다양한 검색 공간에서 상태 기준 성능 상관관계를 달성하는 해석 가능하고 일반화 가능한 제로비용 신경망 아키텍처 스코링 메트릭(이하 ZC-NASMs)을 자동으로 발견하기 위해 유전적 프로그래밍 프레임워크를 제안한다. 수학적 연산과 신경망 특징을 사용하여 표현 트리를 진화시킴으로써 EZNAS는 NASBench-201, NDS, NATS-Bench에 대해 뛰어난 성능을 보이며 24시간 이내의 CPU 학습 시간 내에 일반화되는 메트릭(EZNAS-A)을 발견한다. 이는 NAS에 비해 이산화탄소 배출량을 90% 이상 감소시킨다.

ABSTRACT

Neural Architecture Search (NAS) has significantly improved productivity in the design and deployment of neural networks (NN). As NAS typically evaluates multiple models by training them partially or completely, the improved productivity comes at the cost of significant carbon footprint. To alleviate this expensive training routine, zero-shot/cost proxies analyze an NN at initialization to generate a score, which correlates highly with its true accuracy. Zero-cost proxies are currently designed by experts conducting multiple cycles of empirical testing on possible algorithms, datasets, and neural architecture design spaces. This experimentation lowers productivity and is an unsustainable approach towards zero-cost proxy design as deep learning use-cases diversify in nature. Additionally, existing zero-cost proxies fail to generalize across neural architecture design spaces. In this paper, we propose a genetic programming framework to automate the discovery of zero-cost proxies for neural architecture scoring. Our methodology efficiently discovers an interpretable and generalizable zero-cost proxy that gives state of the art score-accuracy correlation on all datasets and search spaces of NASBench-201 and Network Design Spaces (NDS). We believe that this research indicates a promising direction towards automatically discovering zero-cost proxies that can work across network architecture design spaces, datasets, and tasks.

연구 동기 및 목표

• 제로비용 신경망 아키텍처 스코링 메트릭(ZC-NASMs)의 자동 설계를 통해 수동적이고 전문가 중심의 시행착오 과정을 제거하는 것.
• 다양한 신경망 아키텍처 설계 공간, 데이터셋, 작업에 일반화되는 ZC-NASM을 개발하는 것.
• 표현 트리에서 유도된 해석 가능하고 인간이 읽을 수 있는 스코링 메트릭을 만들며, 점수에 기여하는 네트워크 특징과 연산을 명시적으로 노출시키는 것.
• 비용이 많이 드는 학습을 효율적인 제로비용 대체 평가로 대체함으로써 신경망 아키텍처 탐색의 탄소 발자국을 크게 줄이는 것.
• 특정 아키텍처나 데이터셋에 국한되지 않는 견고한 ZC-NASMs를 발견함으로써 스케일이 가능하고 효율적이며 지속 가능한 NAS를 실현하는 것.

제안 방법

• EZNAS는 각 노드가 수학적 연산, 각 단말은 신경망 특징(예: 기울기 노름, 활성화 통계)인 표현 트리를 진화시켜 ZC-NASMs를 표현한다.
• 프레임워크는 아키텍처 집합에서 대체 스코어와 진짜 검증 정확도 간의 상관관계(Spearman의 rho)를 기반으로 한 피트니스 함수를 사용한다.
• 진화적 연산은 변형(예: 연산 또는 특징 변경), 교차(서브트리 교환), 그리고 피트니스 기반 선택을 포함하며, 더 나은 성능을 내는 표현 트리를 진화시킨다.
• 검색는 다양한 무작위 표현 트리로 구성된 초기 집단으로 시작되며, 소규모 배치 데이터에서 각 아키텍처에 대해 단일 순방향 전파를 사용해 세대를 거쳐 진화한다.
• 이 방법은 NDS DARTS 검색 공간에서만 학습되지만, NASBench-201 및 NATS-Bench와 같은 미사용된 공간에서 평가되어 일반화 능력을 시험한다.
• 최종적으로 발견된 메트릭인 EZNAS-A는 여러 네트워크 통계와 연산을 조합한 컴act하고 해석 가능한 표현 트리로, 예를 들어 노름 기반 및 기울기 기반 특징을 포함한다.

실험 결과

연구 질문

• RQ1 유전적 프로그래밍 프레임워크를 통해 다양한 신경망 아키텍처 설계 공간에 일반화되는 제로비용 신경망 아키텍처 스코링 메트릭을 자동으로 발견할 수 있는가?
• RQ2 진화된 ZC-NASM은 작업별 또는 아키텍처별 튜닝 없이도 최고 성능 상관관계를 달성할 수 있는가?
• RQ3 진화된 메트릭의 해석 가능성은 신경망 성능을 예측하는 데 기여하는 기본 성질에 대한 이해를 얼마나 향상시킬 수 있는가?
• RQ4 기존 NAS 및 수동 대체 지표 설계에 비해 자동 발견 과정의 효율성과 탄소 발자국은 어떻게 비교되는가?
• RQ5 진화된 ZC-NASM은 특히 상위 10%의 아키텍처를 효과적으로 순위 매길 수 있는가?

주요 결과

• 최고 성능을 보인 진화된 ZC-NASM인 EZNAS-A는 NASBench-201(CIFAR-10, CIFAR-100, ImageNet16-120) 및 NDS(DARTS, PNAS) 검색 공간에서 최고 성능 상관관계를 달성한다.
• 메트릭은 NATS-Bench 및 NDS ImageNet으로도 효과적으로 일반화되어, 이전에 본 적 없는 데이터셋과 아키텍처에서도 강력한 상관관계를 보인다.
• EZNAS는 단일 Intel Xeon Gold 6242 CPU에서 24시간 이내에 ZC-NASM을 발견하며, 이 과정에서 오직 358.6g의 CO2e를 소비한다. 이는 일반적인 NAS 검색(4.49kg CO2e)에 비해 90% 이상 감소한 것이다.
• 진화된 메트릭은 표현 트리 형태로 해석 가능하여, 기울기 노름, 가중치 분산, 활성화 통계와 같은 특징들이 수학적 연산을 통해 어떻게 조합되어 성능을 예측하는지 명시적으로 드러낸다.
• EZNAS-A는 기존 ZC-NASMs인 synflow 및 SNIP보다 일반화 능력에서 뛰어나며, 특히 NDS 및 ImageNet16-120 공간에서 이전 방법이 실패하는 영역에서도 뛰어난 성능을 보인다.
• 이 방법은 배치 크기 및 랜덤 시드의 변화에 대해 뛰어난 강건성을 보이며, NDS PNAS 공간에서 7개의 시드와 다양한 배치 크기에서 일관되게 높은 상관관계를 유지한다.