[논문 리뷰] DeepArchitect: Automatically Designing and Training Deep Architectures

Renato Negrinho, Geoffrey J. Gordon|arXiv (Cornell University)|2017. 04. 28.

Machine Learning and Data Classification참고 문헌 27인용 수 143

한 줄 요약

아키텍처와 학습 하이퍼파라미터를 트리 구조의 탐색 공간으로 표현하고, 랜덤 탐색, 몬테 카를로 트리 탐색(Monte Carlo Tree Search), SMBO와 같은 탐색 전략을 사용하여 딥 아키텍처를 자동으로 설계하고 학습하는 모듈식 프레임워크.

ABSTRACT

In deep learning, performance is strongly affected by the choice of architecture and hyperparameters. While there has been extensive work on automatic hyperparameter optimization for simple spaces, complex spaces such as the space of deep architectures remain largely unexplored. As a result, the choice of architecture is done manually by the human expert through a slow trial and error process guided mainly by intuition. In this paper we describe a framework for automatically designing and training deep models. We propose an extensible and modular language that allows the human expert to compactly represent complex search spaces over architectures and their hyperparameters. The resulting search spaces are tree-structured and therefore easy to traverse. Models can be automatically compiled to computational graphs once values for all hyperparameters have been chosen. We can leverage the structure of the search space to introduce different model search algorithms, such as random search, Monte Carlo tree search (MCTS), and sequential model-based optimization (SMBO). We present experiments comparing the different algorithms on CIFAR-10 and show that MCTS and SMBO outperform random search. In addition, these experiments show that our framework can be used effectively for model discovery, as it is possible to describe expressive search spaces and discover competitive models without much effort from the human expert. Code for our framework and experiments has been made publicly available.

연구 동기 및 목표

• 딥 아키텍처와 학습 하이퍼파라미터에 대한 표현력 있는 탐색 공간을 지정하기 위한 프로그래머블하고 구성 가능한 언어를 제공한다.
• 지정된 모델을 자동으로 계산 그래프(computational graph)로 컴파일하는 것을 가능하게 한다.
• 프레임워크 내에서 모델 탐색 알고리즘(random search, MCTS, SMBO)을 평가하고 비교한다.
• 구조화된 탐색 전략이 아키텍처 발견에서 랜덤 탐색보다 우수하다는 것을 입증한다.

제안 방법

• 기본 모듈과 복합 모듈이 결합되어 아키텍처와 학습 하이퍼파라미터의 탐색 공간을 구성하는 모듈형 계산 모듈 언어를 정의한다.
• 히퍼파라미터 값을 순차적으로 할당하여 모든 완전하게 명세된 모델을 탐색하기 위해 트리 구조의 탐색 공간을 사용한다.
• 완전하게 명세된 모듈을 자동으로 계산 그래프에 매핑하는 컴파일 메커니즘을 제공한다.
• 프레임워크 내에서 모델 탐색 알고리즘(Random Search, Monte Carlo Tree Search, tree restructuring이 포함된 MCTS, SMBO)을 구현하고 비교한다.
• 데이터 증강을 포함하고 고정된 학습 예산으로 CIFAR-10에서 모델을 평가하여 탐색 전략을 비교한다.
• SMBO를 가이드하기 위한 대리모형으로 모듈 시퀀스의 n-그램 특징에 대한 리지 회귀를 활용한다.

실험 결과

연구 질문

• RQ1 모듈러하고 구성 가능한 언어가 아키텍처와 학습 하이퍼파라미터에 대한 풍부한 탐색 공간을 효과적으로 표현할 수 있는가?
• RQ2 구조화된 탐색 알고리즘(MCTS, SMBO)이 DeepArchitect 프레임워크에서 고성능 아키텍처를 발견하는 데 있어 랜덤 탐색보다 우수한가?
• RQ3 트리 재구성(하이퍼파라미터 탐색의 이분화)이 아키텍처 탐색에서 MCTS의 효율성과 효과에 어떤 영향을 미치는가?
• RQ4 CIFAR-10과 같은 표준 데이터셋에 대해 아키텍처와 학습 하이퍼파라미터를 공동으로 최적화할 때의 실질적 이점은 무엇인가?

주요 결과

• 검증 구성이 64번 평가 후 CIFAR-10에서 약 89%의 검증 정확도에 모두 도달할 수 있다.
• 평가 횟수가 증가함에 따라 MCTS와 SMBO가 랜덤 탐색을 능가하며, 이분화된 MCTS가 대략 32회 평가에서, SMBO가 대략 16회 평가에서 랜덤 탐색을 능가한다.
• 트리 재구성 없이의 MCTS는 이 설정에서 랜덤 탐색보다 우수하지 않으며, 큰 값 세트를 가진 하이퍼파라미터를 이분화하는 이점이 강조된다.
• 트리 재구성은 관련 하이퍼파라미터 값들 간의 정보를 공유하게 하여 고변이의 아키텍처 선택에 대한 탐색 효율을 향상시킨다.
• 이 프레임워크는 표현력 있는 탐색 공간을 탐색하고 제한된 인적 노력으로 경쟁력 있는 모델을 발견할 수 있다.