[논문 리뷰] Automatic Model Selection for Neural Networks

David Laredo, Yulin Qin외 2명|arXiv (Cornell University)|2019. 05. 15.

Machine Learning and Data Classification참고 문헌 37인용 수 9

한 줄 요약

이 논문은 신경망 아키텍처와 하이퍼파라미터 탐색을 자동화하기 위해 새로운 리스트 기반 유전자 표현 방식, 맞춤형 교차/변이 연산자, 정확도와 모델 복잡도를 균형 잡는 적합도 함수를 사용하는 자동 모델 선택(AMS)을 제안한다. AMS는 표준 하드웨어에서 5분 이내에 고성능의 컴act한 모델을 효율적으로 식별하며, 벤치마크 데이터셋에서 수작업으로 구성한 기준 모델을 뛰어넘고 분산 실행을 지원한다.

ABSTRACT

Neural networks and deep learning are changing the way that artificial intelligence is being done. Efficiently choosing a suitable network architecture and fine-tune its hyper-parameters for a specific dataset is a time-consuming task given the staggering number of possible alternatives. In this paper, we address the problem of model selection by means of a fully automated framework for efficiently selecting a neural network model for a given task: classification or regression. The algorithm, named Automatic Model Selection, is a modified micro-genetic algorithm that automatically and efficiently finds the most suitable neural network model for a given dataset. The main contributions of this method are a simple list based encoding for neural networks as genotypes in an evolutionary algorithm, new crossover, and mutation operators, the introduction of a fitness function that considers both, the accuracy of the model and its complexity and a method to measure the similarity between two neural networks. AMS is evaluated on two different datasets. By comparing some models obtained with AMS to state-of-the-art models for each dataset we show that AMS can automatically find efficient neural network models. Furthermore, AMS is computationally efficient and can make use of distributed computing paradigms to further boost its performance.

연구 동기 및 목표

• 비전문가 사용자를 대상으로 수작업이 많고 시간이 오래 걸리는 신경망 아키텍처와 하이퍼파라미터 선택 문제를 해결하기 위해.
• 동시에 모델 아키텍처와 하이퍼파라미터를 탐색할 수 있는 완전히 자동화되고 확장 가능한 프레임워크를 개발하기 위해.
• 모델 성능과 복잡도를 균형 잡아 메모리 제약이 있는 환경에서의 배포를 가능하게 하기 위해.
• 더 빠른 수렴을 위해 탐색 과정을 효율적으로 분산 실행할 수 있도록 하기 위해.
• 딥러닝 전문 지식이 없어도 즉시 사용할 수 있는 솔루션을 제공하여 경쟁력 있는 신경망 모델을 얻을 수 있도록 하기 위해.

제안 방법

• 신경망을 계층 유형과 하이퍼파라미터의 단순 리스트로 표현하여 효율적인 유전적 계산을 가능하게 하기 위해.
• 유효하고 구조적으로 타당한 신경망 아키텍처를 생성할 수 있도록 전문화된 교차 및 변이 연산자를 설계하기 위해.
• 검증 세트에서의 정확도와 아키텍처 복잡도(파라미터 수)를 동시에 최적화하는 복합 적합도 함수 정의하기 위해.
• 다양성 유지와 유전적 안정성 지원을 위해 신경망 간 유사도 측정 기준 도입하기 위해.
• 적합도 평가를 가속화하고 계산 비용을 줄이기 위해 부분 학습 전략 구현하기 위해.
• 스케일링을 위해 Ray나 Spark와 같은 프레임워크와의 통합을 통해 병렬 및 분산 실행 지원하기 위해.

실험 결과

연구 질문

• RQ1 유전적 알고리즘이 고차원적이고 계층적인 신경망 아키텍처 및 하이퍼파라미터 공간을 효율적으로 탐색할 수 있는가?
• RQ2 수동적 조정 없이 자동화된 방법이 모델 정확도와 복잡도를 얼마나 잘 균형 잡을 수 있는가?
• RQ3 제안된 방법은 수작업이나 히ュ리스틱 접근 방식보다 더 빠르고 계산 비용을 덜 들여서 경쟁력 있는 모델을 찾을 수 있는가?
• RQ4 분산 컴퓨팅 프레임워크를 사용할 경우 메서드의 확장성은 어느 정도인가?
• RQ5 신경망 간 유사도 측정 기준이 탐색 과정의 품질과 다양성에 어떤 기여를 하는가?

주요 결과

• AMS는 CMAPSS 데이터셋에서 테스트 RMSE 14.39를 달성한 신경망 모델을 발견했으며, 수작업으로 구성한 타임윈도우 MLP(15.16 RMSE)와 딥 MLP 앙상블(15.04 RMSE)을 모두 뛰어넘었다.
• 수작업으로 구성한 대비 파라미터 수가 약 10배 이상 큰 일부 모델들에 비해, AMS는 100만 개 이하의 파라미터를 가진 컴팩트한 모델을 식별했다.
• 현대 CPU와 GPU를 탑재한 중급 성능 시스템에서 AMS는 경쟁력 있는 모델을 찾는 데 5분 미만이 소요되어 높은 계산 효율성을 입증했다.
• Ray나 Spark와 같은 프레임워크를 활용한 분산 컴퓨팅을 통해 성능 향상을 확보할 수 있어 강력한 확장성을 보였다.
• CMAPSS 데이터셋에서 모델 크기와 성능 간 명백한 상관관계가 없었으며, 이는 크기만으로 모델 품질을 판단하는 데는 부적절함을 시사했다.
• 적합도 함수는 정확도와 복잡도를 효과적으로 균형 잡아, 정확도가 높고 메모리 제약 환경에서도 배포 가능한 모델을 도출했다.