[논문 리뷰] Neural Architecture Search Over a Graph Search Space

Stanisław Jastrzȩbski, Quentin de Laroussilhe외 4명|arXiv (Cornell University)|2018. 12. 27.

Machine Learning and Data Classification인용 수 2

한 줄 요약

이 논문은 신경망 아키텍처 탐색(NAS)을 위한 그래프 기반 검색 공간을 제안하며, 아키텍처 결정을 정점으로, 행동을 방향성 간선으로 모델링하여 반복적이고 분기적인 탐색 패턴을 동적으로 탐색할 수 있도록 한다. 동적 신경 컨트롤러는 이러한 그래프를 탐색하도록 학습되며, 샘플 효율성을 향상시킨다. 이는 짧은 훈련 시간과 작은 모델을 사용함에도 불구하고 CIFAR-10에서 84%의 정확도를 달성한 것으로 입증되었다. 이는 선형 검색 공간 대비 82%의 성능을 기록한 것보다 뛰어나다.

ABSTRACT

Neural Architecture Search (NAS) enabled the discovery of state-of-the-art architectures in many domains. However, the success of NAS depends on the definition of the search space. Current search spaces are defined as a static sequence of decisions and a set of available actions for each decision. Each possible sequence of actions defines an architecture. We propose a more expressive class of search space: directed graphs. In our formalism, each decision is a vertex and each action is an edge. This allows us to model iterative and branching architecture design decisions. We demonstrate in simulation, and on image classification experiments, basic iterative and branching search structures, and show that the graph representation improves sample efficiency.

연구 동기 및 목표

• 선형 검색 공간의 한계를 해결하기 위해, 분기나 반복적 설계 결정을 효율적으로 모델링할 수 없는 문제를 해결한다.
• 동적, 조건부, 재귀적인 아키텍처 설계 패턴을 지원하는 더 표현력 있고 융통성 있는 검색 공간을 제공한다.
• 복잡한 비선형 결정 경로를 탐색할 수 있도록 허용함으로써 NAS의 샘플 효율성을 향상시킨다.
• 현재 그래프 내 상태에 따라 자신을 조정할 수 있는 동적 신경 컨트롤러를 개발한다.
• 이미지 분류 벤치마크에서 그래프 기반 검색 공간의 효과를 입증하며, 더 빠른 수렴과 향상된 성능을 보여준다.

제안 방법

• 검색 공간을 방향 그래프 G = (V, A)로 모델링하며, 정점은 결정 상태를, 간선은 행동을 나타낸다.
• 아키텍처를 시작 정점에서 종료 정점으로 향하는 경로로 정의하여, 길이가 가변적이고 상태의 반복 방문도 허용한다.
• 현재 그래프 내 정점에 따라 내부 상태와 행동 분포를 조정하는 동적 RNN 기반 컨트롤러를 설계한다.
• 방문한 정점의 역사를 기반으로 행동 확률를 조건화하여, 복잡한 탐색 경로에서 맥락 인식 결정을 가능하게 한다.
• 강화학습을 사용해 컨트롤러를 훈련시키며, 하류 작업에서 생성된 아키텍처의 성능에 기반한 보상을 사용한다.
• 자원 제약 조건 하에서 샘플 효율성을 향상시키기 위해 우선순위 큐 훈련 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 그래프 기반 검색 공간은 분기나 반복과 같은 복잡한 비선형 아키텍처 설계 패턴을 더 잘 표현할 수 있는가?
• RQ2 NAS를 그래프 상의 동적 산책으로 모델링할 경우, 고정된 순서 접근 방식에 비해 샘플 효율성이 향상되는가?
• RQ3 동적 신경 컨트롤러는 복잡한 그래프 기반 검색 공간을 효과적으로 탐색할 수 있는가?
• RQ4 최종 정확도와 수렴 속도 측면에서 그래프 기반 NAS 접근 방식은 선형 검색 공간에 비해 어떻게 비교되는가?
• RQ5 그래프 기반 검색 공간은 선형 순서로 잘 모델링되지 않는 반복적 또는 조건부 설계 결정을 어느 정도 잘 포괄할 수 있는가?

주요 결과

• 그래프 기반 검색 공간은 단지 20개의 훈련 에포크를 사용하여 CIFAR-10에서 84%의 top-1 정확도를 달성했으며, 동일 조건에서 선형 검색 공간의 82% 성능을 뛰어넘었다.
• ImageNet에서 그래프 검색 공간은 더 빠르게 수렴하고 더 높은 정확도에 도달하여 최적화 역학이 향상됨을 보여주었다.
• 동적 컨트롤러는 분기와 반복을 포함한 복잡한 경로를 성공적으로 탐색하여 조건부 설계 패턴의 효율적 탐색을 가능케 하였다.
• 샘플 효율성이 크게 향상되었으며, 더 적은 수의 아키텍처 샘플과 짧은 훈련 시간에도 더 뛰어난 성능을 기록함으로써 이를 입증하였다.
• 이전에는 실현 가능하지 않았던 검색 패턴, 예를 들어 모든 옵션에 대해가 아니라 선택된 옵티마이저에 대해서만 초모수를 선택하는 것과 같은 패턴을 모델링할 수 있었다.
• 결과적으로 그래프 기반 검색 공간이 복잡한 설계 시나리오에서 선형 순서에 비해 더 표현력 있고 효과적인 것으로 입증되었으며, NAS에 있어 유의미한 향상이 있음을 확인하였다.