[논문 리뷰] An Introduction to Neural Architecture Search for Convolutional Networks

George Kyriakides, Konstantinos G. Margaritis|arXiv (Cornell University)|2020. 05. 22.

Advanced Neural Network Applications참고 문헌 42인용 수 9

한 줄 요약

이 논문은 합성곱 신경망을 위한 신경망 아키텍처 탐색(NAS)에 대한 종합적인 소개를 제공하며, 탐색 공간, 최적화 방법, 후보 평가 기법 등의 핵심 구성 요소를 설명한다. 이는 셀 기반 탐색 공간과 NAS-Bench-101 및 NAS-Bench-201와 같은 벤치마크 데이터셋을 포함한 NAS 분야의 주요 발전을 강조하며, 계산 비용을 줄이고 재현 가능성이 높은 연구를 가능하게 한다.

ABSTRACT

Neural Architecture Search (NAS) is a research field concerned with utilizing optimization algorithms to design optimal neural network architectures. There are many approaches concerning the architectural search spaces, optimization algorithms, as well as candidate architecture evaluation methods. As the field is growing at a continuously increasing pace, it is difficult for a beginner to discern between major, as well as emerging directions the field has followed. In this work, we provide an introduction to the basic concepts of NAS for convolutional networks, along with the major advances in search spaces, algorithms and evaluation techniques.

연구 동기 및 목표

• 합성곱 신경망을 위한 신경망 아키텍처 탐색(NAS)의 체계적인 개요를 제공하며, 핵심 구성 요소인 탐색 공간, 최적화 방법, 후보 평가 방법에 집중한다.
• NAS 파이프라인에서 탐색 공간 설계, 최적화 전략, 평가 방법 간의 상호의존성과 상호 영향을 명확히 한다.
• NAS-Bench-101, NAS-Bench-201, NAS-Bench-1shot1와 같은 주요 벤치마크 데이터셋을 소개하고 분석하여 재현 가능하고 효율적인 NAS 연구를 가능하게 한다.
• 자원 소모가 큰 기존 방법에서 효율적이고 웨이트 공유 기반, 일회성 접근 방식으로의 NAS의 진화를 강조하며 계산 비용을 감소시킨다.
• 탐색 공간 제약과 평가 방법으로 인해 발생할 수 있는 편향의 위험을 논의하고, NAS 연구의 투명성과 재현 가능성 강화를 주장한다.

제안 방법

• NAS를 매크로 아키텍처 탐색(전역 탐색 공간)과 마이크로 아키텍처 탐색(셀 기반 탐색 공간)으로 분류하며, 후자는 재사용 가능한 셀 패턴을 학습하는 데 집중한다.
• 네트워크 모르피즘과 미분 가능 아키텍처 탐색(DARTS)을 사용하여 아키텍처 연산에 대해 미분 가능하고 효율적인 탐색을 가능하게 한다.
• 웨이트 공유 기법을 소개하며, DARTS 및 일회성 NAS에서 단일 슈퍼넷을 학습시켜 개별 아키텍처의 성능을 근사한다.
• 벤치마크 데이터셋을 검토한다: NAS-Bench-101(423,000개의 아키텍처, CIFAR-10), NAS-Bench-201(15,625개의 아키텍처, CIFAR-10/100 및 ImageNet-16-120), NAS-Bench-1shot1(일회성 방법의 아키텍처를 NAS-Bench-101에 매핑하여 일회성 방법에 적합하게 설계됨).
• 조기 정지, 정확도 예측, 지연 시간/FLOPs 보고와 같은 평가 방법이 학습 비용을 줄이고 더 빠른 탐색을 가능하게 한다.
• NAS 벤치마크를 통해 연구자들이 전체 학습 없이도 재표본 추출을 시뮬레이션하고 알고리즘 간의 공정한 비교를 수행할 수 있으며, 사전 계산된 메트릭(정확도, 파라미터 수, 학습 시간 등)을 활용할 수 있다고 제안한다.

실험 결과

연구 질문

• RQ1 전역 탐색 공간 대비 셀 기반 탐색 공간의 설계 방식은 NAS의 효율성과 성능에 어떤 영향을 미치는가?
• RQ2 강화 학습, 진화 알고리즘, 미분 가능 탐색 등의 최적화 전략 간의 성과는 탐색 효율성과 최종 아키텍처 품질 측면에서 어떤 상충 관계를 가지는가?
• RQ3 웨이트 공유, 정확도 예측 등의 서rogate 평가 방법이 전체 학습을 대체할 수 있는 정도는 어느 정도이며, 정확도와 공정성은 유지되는가?
• RQ4 NAS-Bench-101 및 NAS-Bench-201와 같은 벤치마크 데이터셋은 어떻게 재현 가능하고 효율적인 NAS 연구를 가능하게 하는가? 그 한계는 무엇인가?
• RQ5 평가 방법과 탐색 공간 설계는 NAS에 어떤 방식으로 편향을 유도할 수 있으며, 투명성과 최선의 실천 방식을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• NASNet 및 NAS-Bench-101에서 사용하는 셀 기반 탐색 공간은 네트워크 전반에 걸쳐 학습된 셀 패턴을 재사용함으로써 탐색 복잡도를 크게 감소시킨다.
• NAS-Bench-101은 CIFAR-10에서 423,000개의 고유 아키텍처를 포함하며, 4, 12, 36, 108 에포크 후의 학습 및 테스트 정확도가 기록되어 있어 빠른 평가와 재표본 추출을 가능하게 한다.
• NAS-Bench-201은 원래의 벤치마크를 확장하여 15,625개의 아키텍처를 포함하며, CIFAR-10, CIFAR-100, ImageNet-16-120를 지원하고 FLOPs, 지연 시간, 에포크별 메트릭을 보고한다.
• 일회성 NAS 벤치마크인 NAS-Bench-1shot1은 일회성 방법의 아키텍처를 사전 평가된 모델로 매핑하여 NAS-Bench-101에 통합함으로써, 6,240에서 363,648개의 고유 모델을 포함한 효율적인 탐색을 가능하게 한다.
• 웨이트 공유 및 서rogate 평가 방법은 벽시계 시간과 계산 비용을 크게 감소시켜, 대규모 가속기 없이도 표준 하드웨어에서 NAS 연구를 수행할 수 있도록 한다.
• 그러나 이러한 벤치마크는 과적합이나 제한된 탐색 공간 커버리지로 인해 편향을 유발할 수 있으며, 평가 방법은 피트니스 랜드스케이프를 왜곡할 수 있어, 신중한 설계와 투명성의 필요성을 강조한다.