[논문 리뷰] Towards modular and programmable architecture search

Renato Negrinho, Darshan Patil외 4명|arXiv (Cornell University)|2019. 09. 30.

Machine Learning and Data Classification인용 수 11

한 줄 요약

이 논문은 신경망 아키텍처 탐색에서 일반적인 계산 그래프 위의 검색 공간을 정의하기 위한 형식적이고 모듈형이며 프로그래머블한 언어를 소개한다. 일관된 인터페이스를 통해 검색 알고리즘과 검색 공간 정의를 분리함으로써, 다양한 검색 공간과 알고리즘의 조합에 대해 조립 가능하고 재사용 가능하며 확장 가능한 실험을 가능하게 한다. 이는 최신 아키텍처와 검색 방법의 효율적 벤치마킹을 통해 최소한의 구현 오버헤드로 입증되었다.

ABSTRACT

Neural architecture search methods are able to find high performance deep learning architectures with minimal effort from an expert. However, current systems focus on specific use-cases (e.g. convolutional image classifiers and recurrent language models), making them unsuitable for general use-cases that an expert might wish to write. Hyperparameter optimization systems are general-purpose but lack the constructs needed for easy application to architecture search. In this work, we propose a formal language for encoding search spaces over general computational graphs. The language constructs allow us to write modular, composable, and reusable search space encodings and to reason about search space design. We use our language to encode search spaces from the architecture search literature. The language allows us to decouple the implementations of the search space and the search algorithm, allowing us to expose search spaces to search algorithms through a consistent interface. Our experiments show the ease with which we can experiment with different combinations of search spaces and search algorithms without having to implement each combination from scratch. We release an implementation of our language with this paper.

연구 동기 및 목표

• 기존 신경망 아키텍처 탐색 시스템에서의 프로그래머블성과 모듈성 부족 문제를 해결하기 위해.
• 전문가가 일반적인 계산 그래프 위에서 검색 공간을 구조적이고 재사용 가능한 방식으로 정의하고 조합할 수 있도록 하기 위해.
• 검색 공간의 구현과 검색 알고리즘의 구현을 분리하여 더 큰 유연성과 확장성을 확보하기 위해.
• 새로운 검색 공간과 알고리즘 조합을 다시 작성하지 않고도 체계적인 벤치마킹을 지원하기 위해.
• 기존 및 신규 아키텍처 탐색 워크플로우를 모두 지원하는 일반 목적의 프레임워크를 제공하기 위해.

제안 방법

• 모듈형 구성요소와 하이퍼파rameter를 갖는 계산 그래프로 검색 공간을 표현하는 형식적 언어를 제안한다.
• 각 노드가 구성 가능한 하이퍼파rameter를 갖는 검색 공간 구성요소를 나타내는 계층적이고 재귀적인 구조를 사용한다.
• 모든 검색 알고리즘에 검색 공간을 노출하기 위한 일관된 인터페이스를 도입하여, 구현 세부 사항을 추상화한다.
• 검색자의 상태를 `sample` 및 `update` 인터페이스를 통해 업데이트하는 상태 기반 검색 프레임워크를 활용하여, 알고리즘에 종속되지 않는 검색 공간 탐색을 가능하게 한다.
• 독립적인 하이퍼파rameter에 값을 할당하기 위해 `random_specify`를 사용하여 평가 대상이 되는 최종 아키텍처를 생성한다.
• 조건부 및 독립적인 하이퍼파라미터 공간을 모두 지원하여 복잡하고 구조적인 검색 공간 정의를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 신경망 아키텍처 탐색 공간을 모듈형이고 조립 가능한 방식으로 표현할 수 있는 형식적 언어를 설계할 수 있는가?
• RQ2 일관된 인터페이스를 사용해 검색 공간과 검색 알고리즘의 구현을 어느 정도 분리할 수 있는가?
• RQ3 이 프레임워크를 사용해 연구자들이 새로운 검색 공간과 알고리즘 조합을 얼마나 효율적으로 실험할 수 있는가?
• RQ4 이 프레임워크는 문헌에 기록된 실제 검색 공간을 최소한의 노력으로 인코딩하고 벤치마킹할 수 있는가?
• RQ5 이 언어는 재사용 가능하고 확장 가능하며 유지보수 가능한 아키텍처 탐색 연구 워크플로우를 가능하게 하는가?

주요 결과

• 프레임워크는 문헌에서 기반으로 삼은 여러 벤치마크 검색 공간(Nasbench, Nasnet, 유전적 탐색 공간 등)을 최소한의 코드 중복으로 성공적으로 인코딩했다.
• 분리된 인터페이스 덕분에 검색 공간의 구현을 수정하지 않고도 다양한 검색 알고리즘(랜덤 탐색, MCTS, SMBO, 정규화된 진화)이 원활하게 통합될 수 있었다.
• 그리드 탐색 실험 결과, 검색 단계에서 최고의 아키텍처가 CIFAR-10에서 94.59%의 테스트 정확도를 기록했으며, 다른 설정보다 뛰어난 성능을 보였다.
• 검색 알고리즘 비교 결과, SMBO와 정규화된 진화 알고리즘이 각각 92.85%와 92.21%의 평균 검증 정확도를 기록하여, 랜덤 탐색(92.29%)과 MCTS(92.08%)를 모두 초월했다.
• 이 프레임워크 덕분에 새로운 검색 공간과 알고리즘 조합의 빠른 프로토타이핑과 벤치마킹이 가능해져, 구현 오버헤드가 크게 감소했다.