[논문 리뷰] AutoML-Zero: Evolving Machine Learning Algorithms From Scratch

Esteban Real, Liang Chen외 2명|arXiv (Cornell University)|2020. 03. 06.

Machine Learning and Data Classification참고 문헌 83인용 수 115

한 줄 요약

이 논문은 AutoML-Zero를 제시합니다. 기본 수학 연산을 사용해 처음부터 전체 ML 알고리즘을 진화시키는 프레임워크로, 신경망뿐만 아니라 역전파와 유사한 학습을 포함해 간단한 기법과 고급 기법을 발견합니다.

ABSTRACT

Machine learning research has advanced in multiple aspects, including model structures and learning methods. The effort to automate such research, known as AutoML, has also made significant progress. However, this progress has largely focused on the architecture of neural networks, where it has relied on sophisticated expert-designed layers as building blocks---or similarly restrictive search spaces. Our goal is to show that AutoML can go further: it is possible today to automatically discover complete machine learning algorithms just using basic mathematical operations as building blocks. We demonstrate this by introducing a novel framework that significantly reduces human bias through a generic search space. Despite the vastness of this space, evolutionary search can still discover two-layer neural networks trained by backpropagation. These simple neural networks can then be surpassed by evolving directly on tasks of interest, e.g. CIFAR-10 variants, where modern techniques emerge in the top algorithms, such as bilinear interactions, normalized gradients, and weight averaging. Moreover, evolution adapts algorithms to different task types: e.g., dropout-like techniques appear when little data is available. We believe these preliminary successes in discovering machine learning algorithms from scratch indicate a promising new direction for the field.

연구 동기 및 목표

• AutoML이 기본 빌딩 블록만으로 수 hand-designed 구성요소 없이 완전한 ML 알고리즘을 자동으로 발견할 수 있음을 시연한다.
• 진화적 탐색이 간단한 신경망과 특정 작업에 맞춘 더 진보된 알고리즘을 모두 찾아낼 수 있음을 보인다.
• 다양한 작업 유형과 데이터 규칙(예: few-shot, 정규화)에 맞춰 알고리즘이 어떻게 진화하고 적응하는지 조사한다.
• 거대한 알고리즘 공간을 탐색하기 위한 오픈 소스 인프라와 확장 가능한 탐색 전략을 제공한다.

제안 방법

• ML 알고리즘을 작은 메모리와 기본 연산에서 작동하는 세 가지 구성요소(Setup, Predict, Learn)를 갖는 프로그램으로 표현한다.
• 돌연변이와 함께 조정된 진화를 이용한 진화적 탐색으로 후보 알고리즘 군을 구성한다.
• 함수적 등가성 검사(FEC)와 분산 워커를 적용해 높은 처리량의 탐색을 달성한다(초당 약 10k 모델/CPU).
• 프록시 작업(이진 CIFAR-10/ MNIST 유사 작업)에서 알고리즘을 평가하고 중앙값 작업 성능으로 선택한 뒤 더 큰 작업에서 검증한다.
• 탐색 공간에서 인간 편향을 최소화하기 위해 가변 구성 길이와 65개의 연산 집합을 허용한다.

실험 결과

연구 질문

• RQ1 진화적 탐색이 기본 수학 연산만으로 처음부터 ML 알고리즘을 발견할 수 있는가?
• RQ2 탐색 공간에서 편향을 최소화할 때 어떤 종류의 학습 규칙이나 아키텍처 모티브가 나타나는가?
• RQ3 발견된 알고리즘은 프록시 작업을 넘어서 실제 데이터셋에 얼마나 잘 일반화되는가?
• RQ4 알고리즘 계열은 다양한 작업 유형(예: few-shot, 다중 클래스)과 데이터 규칙에 어떻게 적응하는가?

주요 결과

• 진화적 탐색은 무작위 탐색이 성능이 낮은 매우 크고 일반적인 공간에서 알고리즘을 발견할 수 있다.
• CIFAR-10 변형 및 다른 데이터셋에서 진화된 알고리즘이 수작업으로 설계된 기준선을 능가하거나 역전파로 학습된 네트에 가깝거나 이를 능가할 수 있다.
• 다항식적 상호작용(multiplicative interactions), 정규화된 기울기, 가중치 평균화와 같은 기법이 진화 과정에서 나타난다.
• 드롭아웃 유사 정규화와 학습률 감소는 작업이 각각 정규화나 더 빠른 수렴을 필요로 할 때 나타난다.
• 처음부터 시작해도 진화는 역전파를 사용하는 신경망을 재발견할 수 있으며, 더 넓은 연산을 사용하면 비신경망 아키텍처도 발견한다.