[논문 리뷰] A Study on Encodings for Neural Architecture Search

Colin White, Willie Neiswanger외 2명|arXiv (Cornell University)|2020. 07. 09.

Neural Networks and Applications참고 문헌 32인용 수 5

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS) 인코딩의 첫 번째 공식적 연구를 제시하며, 인접 행렬 및 경로 기반 인코딩과 같은 다양한 표현 방식이 알고리즘 성능에 미치는 영향을 분석한다. 다양한 인코딩 방식이 랜덤 샘플링, 아키텍처 변형, 예측 모델 훈련 등의 핵심 NAS 서브루틴에 미치는 영향을 입증하며, 일반화 및 확장성 측면에서 인접 행렬 인코딩이 경로 기반 인코딩보다 뛰어나다는 것을 보여준다.

ABSTRACT

Neural architecture search (NAS) has been extensively studied in the past few years. A popular approach is to represent each neural architecture in the search space as a directed acyclic graph (DAG), and then search over all DAGs by encoding the adjacency matrix and list of operations as a set of hyperparameters. Recent work has demonstrated that even small changes to the way each architecture is encoded can have a significant effect on the performance of NAS algorithms. In this work, we present the first formal study on the effect of architecture encodings for NAS, including a theoretical grounding and an empirical study. First we formally define architecture encodings and give a theoretical characterization on the scalability of the encodings we study Then we identify the main encoding-dependent subroutines which NAS algorithms employ, running experiments to show which encodings work best with each subroutine for many popular algorithms. The experiments act as an ablation study for prior work, disentangling the algorithmic and encoding-based contributions, as well as a guideline for future work. Our results demonstrate that NAS encodings are an important design decision which can have a significant impact on overall performance. Our code is available at https://github.com/naszilla/nas-encodings.

연구 동기 및 목표

• 아키텍처 인코딩이 신경망 아키텍처 탐색(NAS) 성능에 미치는 영향을 공식적으로 정의하고 분석하는 것.
• 랜덤 샘플링, 변형, 예측 모델 훈련과 같은 인코딩에 의존적인 NAS 알고리즘 서브루틴을 식별하고 평가하는 것.
• 제거 분석을 통해 이전 NAS 연구에서 알고리즘 기여도와 인코딩 기반 기여도를 분리하는 것.
• 다양한 인코딩을 기반으로 훈련된 신경망 예측 모델의 일반화 능력을 탐색 공간 경계를 넘어서 평가하는 것.
• 특정 NAS 서브루틴과 사용 사례에 맞는 최적의 인코딩을 선택하기 위한 실용적 권고를 제공하는 것.

제안 방법

• 아키텍처를 실수 값 텐서로 매핑하는 다중 함수로 인코딩을 정의하여 이전의 비공식적인 표현 방식을 공식화하는 것.
• 자르기로 인한 정보 손실을 사용해 확장성 특성화를 수행하며, 경로 기반 인코딩의 경우 $ r^{k/n} $에서 단계 전이 현상이 발생함을 규명한다.
• 인접 행렬, 순서형 인접 행렬, 경로, 자르기된 경로, 순서형 경로, 자르기된 순서형 경로 등 총 여덟 가지의 서로 다른 인코딩을 구현하고 평가하는 것.
• 랜덤 아키텍처 샘플링, 아키텍처 변형, 예측 모델 훈련의 세 가지 핵심 NAS 서브루틴에 걸쳐 제거 분석을 수행하는 것.
• NASBench-101의 일부를 기반으로 신경망 예측 모델을 훈련하고, 서로 다른 인코딩을 사용한 이질적 탐색 공간으로의 일반화 성능을 테스트하는 것.
• 각 인코딩이 정의한 동치 클래스 내에서 정확도의 평균 표준편차를 측정하여 정보 손실 정도를 평가하는 것.

실험 결과

연구 질문

• RQ1 아키텍처 인코딩의 선택이 NAS 표현의 확장성과 정보 유지 능력에 어떤 영향을 미치는가?
• RQ2 랜덤 샘플링, 변형, 예측 모델 훈련의 세 가지 핵심 NAS 서브루틴 각각에서 어떤 인코딩이 가장 우수한 성능을 보이는가?
• RQ3 한 탐색 공간에서 훈련된 신경망 예측 모델이 이질적인 탐색 공간으로 일반화 가능한가? 이는 어떤 인코딩에 따라 어떻게 달라지는가?
• RQ4 특히 자르기된 경우, 다양한 인코딩이 정보를 얼마나 유지하거나 손실하는가?
• RQ5 일부 인코딩(예: 경로 인코딩)의 비단사상성은 동치 클래스 내 정확도의 분산에 어떤 영향을 미치는가?

주요 결과

• 경로 기반 인코딩은 이론적으로 예측한 것처럼 $ r^{k/n} $에서 정보 손실의 급격한 단계 전이 현상을 보이며, $ r^{k/(2n)} $ 이하에서는 거의 완전한 정보 손실를 겪는다.
• 예측 모델 일반화 능력 측면에서 인접 행렬 인코딩이 경로 기반 인코딩보다 뛰어나며, 자르기된 순서형 경로 인코딩 대비 상위 10개 평균 테스트 오차 6.056%를 기록하여 6.335%를 기록한 것보다 우수하다.
• 경로 인코딩의 동치 클래스 내 정확도 평균 표준편차는 0.353%로, 모든 아키텍처 평균 5.55%보다 현저히 낮아 유사 성능을 보이는 모델들이 잘 군집되어 있음을 시사한다.
• 순서형 인접 행렬 및 경로 인코딩은 표준 인접 행렬 인코딩보다 일반화 능력이 열 劣하나, 이는 이질적 아키텍처에서 희소성과 특징 불일치 때문일 가능성이 높다.
• 경로 인코딩의 이론적 확장성 특성화 결과는 경험적 결과와 일치하여 단계 전이 모델의 타당성을 입증한다.
• 이 연구는 알고리즘적 기여도와 인코딩 기반 기여도를 분리하여, 알고리즘 설계와는 별개로 인코딩 선택이 NAS 성능에 지배적인 영향을 미칠 수 있음을 보여준다.