[논문 리뷰] A Survey on Computationally Efficient Neural Architecture Search

Shiqing Liu, Haoyu Zhang외 1명|arXiv (Cornell University)|2022. 06. 03.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 종합적 서베이는 계산 비용을 줄이기 위해 훈련 비용을 감소시키는 데 초점을 맞춘 계산 효율성 있는 신경망 아키텍처 탐색(CE-NAS) 방법에 대한 포괄적인 분석을 제공한다. 이는 프록시 기반 및 서rogate 보조 접근 방식으로 분류되며, 계산 비용을 줄이는 데 기여한다. 이는 설계 원칙, 성능 및 계산 복잡도를 체계적으로 비교하며, 효율적이고 프라이버시를 고려한, 녹색 AI 인식 NAS의 주요 과제와 향후 방향을 규명한다.

ABSTRACT

Neural architecture search (NAS) has become increasingly popular in the deep learning community recently, mainly because it can provide an opportunity to allow interested users without rich expertise to benefit from the success of deep neural networks (DNNs). However, NAS is still laborious and time-consuming because a large number of performance estimations are required during the search process of NAS, and training DNNs is computationally intensive. To solve this major limitation of NAS, improving the computational efficiency is essential in the design of NAS. However, a systematic overview of computationally efficient NAS (CE-NAS) methods still lacks. To fill this gap, we provide a comprehensive survey of the state-of-the-art on CE-NAS by categorizing the existing work into proxy-based and surrogate-assisted NAS methods, together with a thorough discussion of their design principles and a quantitative comparison of their performances and computational complexities. The remaining challenges and open research questions are also discussed, and promising research topics in this emerging field are suggested.

연구 동기 및 목표

• 기본적으로 각 후보 아키텍처를 다시 훈련하는 방식에 의존하는 전통적 신경망 아키텍처 탐색(NAS)의 높은 계산 비용을 해결하기 위해.
• 기존 문헌에서의 격차를 메우기 위해 계산 효율성 있는 NAS(CE-NAS) 방법에 대한 체계적이고 최신의 개요를 제공하기 위해.
• 설계 원칙, 성능 및 계산 복잡도를 기반으로 프록시 기반 및 서rogate 보조 NAS 방법을 분류하고 비교하기 위해.
• 특히 연합 학습 및 녹색 AI 환경에서의 CE-NAS에서의 열린 과제와 향후 연구 방향을 규명하기 위해.
• 실제 환경에 구현하기 위해 연구자들과 전문가들이 효율적인 NAS 방법을 선택하고 발전시킬 수 있도록 안내하기 위해.

제안 방법

• 네트워크 가중치가 성능 평가 시 필요로 하는지 여부에 따라 CE-NAS 방법을 프록시 기반(예: 저해상도 추정, 원샷 NAS, 네트워크 변형) 및 서rogate 보조 접근 방식으로 분류하기.
• 완전한 훈련 없이도 성능을 추정하기 위해 단순화되거나 공유되는 가중치를 사용하는 프록시 기반 방법을 분석하여 계산 비용을 감소시키기.
• 네트워크 가중치에 의존하지 않고 아키텍처 특징만을 기반으로 훈련된 성능 예측기(서rogate)를 사용하는 서rogate 보조 NAS를 조사하기.
• 베이지안 최적화, 진화 알고리즘, 다목적 최적화와 같은 기법을 사용하여 서rogate 모델을 평가하고 효율적인 아키텍처 탐색을 이끌기.
• 프라이버시 보장 메커니즘(예: 차별적 프라이버시, 안전한 집계, 동형 암호화)을 연합 NAS에 통합하여 보안성을 향상시키기.
• 확장 가능한 간접 인코딩 및 경량 서rogate 모델을 활용하여 자원 제한된 엣지 디바이스에 NAS를 구현하기 위한 전략 제안하기.

실험 결과

연구 질문

• RQ1 프록시 기반 및 서rogate 보조 NAS 방법은 계산 효율성과 성능 예측 정확도 측면에서 어떻게 다릅니까?
• RQ2 다양한 종류의 프록시 기반 NAS(예: 원샷, 저해상도) 간의 핵심 설계 원칙과 검색 비용 감소에 대한 상호 상충 관계는 무엇입니까?
• RQ3 서rogate 모델을 어떻게 효과적으로 훈련하고 업데이트하여 최소한의 계산 오버헤드로 새로운 아키텍처의 성능을 예측할 수 있습니까?
• RQ4 특히 데이터 이질성, 통신 비용, 하드웨어 다양성 문제로 인해 연합 학습 환경에서 NAS를 적용하는 데 주요 과제는 무엇입니까?
• RQ5 녹색 AI 원칙과 효율적인 모델 인코딩을 통해 NAS를 어떻게 더 지속 가능하고 엣지 디바이스에 구현 가능하게 만들 수 있습니까?

주요 결과

• 최근 CE-NAS 방법들은 CIFAR-10에서 검색 시간을 수백 개의 GPU 일에서 0.1 GPU 일 이하로 줄여 높은 효율성 향상을 보였다.
• 서rogate 보조 NAS 방법은 아키텍처 특징에 기반한 성능 예측기(서rogate)를 사용함으로써 재훈련을 피하고, 네트워크 가중치가 필요 없이도 더 빠른 평가가 가능하다.
• 베이지안 최적화와 진화 알고리즘이 서rogate 보조 NAS에서 널리 사용되며, 후자는 샘플 효율성을 제공하고, 전자는 다목적 최적화를 가능하게 한다.
• 연합 NAS는 아직 탐색이 부족한 분야로, 비독립 동일 분포(NIID) 데이터, 이질적 하드웨어, 클라이언트 간 높은 통신 비용 등 과제가 있다.
• 차별적 프라이버시 및 안전한 집계와 같은 프라이버시 보장 기법은 검색 효율성을 저하시키지 않고도 연합 NAS에 통합할 수 있어 보안성을 향상시킬 수 있다.
• 제한된 계산 자원으로 인해 엣지 디바이스에 NAS를 구현하는 것은 여전히 도전 과제이며, 이를 해결하기 위해 확장 가능한 간접 인코딩 전략과 경량 서rogate 모델이 필요하다.