[논문 리뷰] A Surgery of the Neural Architecture Evaluators

Xuefei Ning, Wenshuo Li외 6명|arXiv (Cornell University)|2021. 05. 04.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 8

한 줄 요약

이 논문은 NAS-Bench-201 검색 공간에서 파라미터 공유 및 예측기 기반 신경망 아키텍처 평가기의 종합적 분석을 수행하여, 훈련 단계와 설정이 평가 정확도에 미치는 영향을 규명한다. 고성능 아키텍처에 대한 피트니스 상관관계의 심각한 결함을 드러내며, 평가기 신뢰성 향상과 향후 NAS 연구를 이끄는 데 실질적인 통찰과 설계 원칙을 제공한다.

ABSTRACT

Neural architecture search (NAS) has recently received extensive attention due to its effectiveness in automatically designing effective neural architectures. A major challenge in NAS is to conduct a fast and accurate evaluation of neural architectures. Commonly used fast architecture evaluators include parameter-sharing ones and predictor-based ones. Despite their high evaluation efficiency, the evaluation correlation (especially of the well-performing architectures) is still questionable. In this paper, we conduct an extensive assessment of both the parameter-sharing and predictor-based evaluators on the NAS-Bench-201 search space, and break up how and why different configurations and strategies influence the fitness of the evaluators. Specifically, we carefully develop a set of NAS-oriented criteria to understand the behavior of fast architecture evaluators in different training stages. And based on the findings of our experiments, we give pieces of knowledge and suggestions to guide NAS application and motivate further research.

연구 동기 및 목표

• 다양한 훈련 단계에서 빠른 신경망 아키텍처 평가기—특히 파라미터 공유 및 예측기 기반 방법—의 신뢰성과 정확도를 평가하기 위해.
• 아키텍처 설정과 훈련 전략이 신경망 아키텍처 검색(NAS)에서 평가기 성능에 미치는 영향를 규명하기 위해.
• 평가기의 훈련 중 행동을 반영할 수 있는 NAS 중심의 평가 기준을 개발하기 위해.
• 평가기 신뢰도 향상과 NAS 방법론 발전을 위한 실질적인 지식과 설계 가이드라인을 제공하기 위해.

제안 방법

• 저자들은 파라미터 공유 및 예측기 기반 평가기를 다양한 훈련 단계에서 평가하기 위해 NAS-Bench-201 검색 공간에서 광범위한 실험을 수행한다.
• 평가기 행동을 분석하기 위해 NAS 전용 기준 세트를 도입하며, 진정한 검증 정확도와의 상관관계에 중점을 둔다.
• 평가 프레임워크는 훈련 스케줄, 모델 깊이, 예측기 아키텍처 등 다양한 설정의 평가기를 체계적으로 비교한다.
• 평가기 예측과 실제 아키텍처 성능 사이의 피트니스 상관관계를 분석하며, 특히 최상위 성능 아키텍처에서의 상황을 중점적으로 다룬다.
• 평가기 성능에 영향을 미치는 특정 설계 선택 사항을 분리하기 위해 아블레이션 연구를 수행한다.
• 결과는 NAS 전문가 및 향후 평가기 설계를 위한 실질적인 권고로 종합된다.

실험 결과

연구 질문

• RQ1 NAS에서 다양한 훈련 단계에서 빠른 아키텍처 평가기의 피트니스 상관관계는 어떻게 변화하는가?
• RQ2 특정 설정과 전략은 고성능 아키텍처에서 평가기 정확도를 떨어뜨리거나 향상시키는가?
• RQ3 NAS-Bench-201 벤치마크에서 파라미터 공유 및 예측기 기반 평가기가 진정한 검증 정확도와 얼마나 일치하는가?
• RQ4 평가기의 아키텍처 선택(예: 깊이, 너비, 훈련 스케줄)은 그 예측 신뢰성에 어떤 영향을 미치는가?
• RQ5 평가기의 정밀도를 향상시키기 위해 유도할 수 있는 설계 원칙은 무엇인가?

주요 결과

• 파라미터 공유 평가기에서는 고성능 아키텍처에서 진정한 검증 정확도와의 상관관계가 상당히 낮으며, 특히 훈련을 너무 이르게 중단할 경우 더욱 심각하다.
• 예측기 기반 평가기는 파라미터 공유 평가기보다 더 높은 상관관계를 보이지만, 파레토 최적 경계 근처의 아키텍처에 대해서는 여전히 일반화 능력이 열악하다.
• 평가기의 훈련 스케줄과 모델 깊이 선택은 아키텍처 정렬 정확도에 상당한 영향을 미친다.
• 작거나 浅은 모델에서 훈련된 평가기는 검색 공간 내에서 더 깊거나 더 복잡한 아키텍처로 일반화하는 데 실패하는 경우가 많다.
• 연구는 평가기에서의 조기 정지와 최적화되지 않은 하이퍼파라미터 선택이 잘못된 성능 순위를 초래함을 규명했다.
• 결과적으로 현재의 빠른 평가기는 최고의 아키텍처를 식별하는 데 신뢰할 수 없으며, 향상된 훈련 및 설계 전략이 필요하다.