[논문 리뷰] Taking Human out of Learning Applications: A Survey on Automated Machine Learning

Quanming Yao, Mengshuo Wang외 7명|arXiv (Cornell University)|2018. 10. 31.

Machine Learning and Data Classification참고 문헌 182인용 수 221

한 줄 요약

이 종합적 서베이는 기존의 접근 방식을 통합함으로써 문제 설정과 기법을 체계화하는 자동화된 머신 러닝(AutoML)을 위한 포괄적인 프레임워크를 제안한다. 이는 체계적인 분류 체계를 제공하고 핵심 성공 요인을 분석하며, 머신 러닝 파이프라인에서 인간의 전문 지식을 줄이려는 연구자와 전문가를 위한 기초 가이드로 기능한다.

ABSTRACT

Machine learning techniques have deeply rooted in our everyday life. However, since it is knowledge- and labor-intensive to pursue good learning performance, human experts are heavily involved in every aspect of machine learning. In order to make machine learning techniques easier to apply and reduce the demand for experienced human experts, automated machine learning (AutoML) has emerged as a hot topic with both industrial and academic interest. In this paper, we provide an up to date survey on AutoML. First, we introduce and define the AutoML problem, with inspiration from both realms of automation and machine learning. Then, we propose a general AutoML framework that not only covers most existing approaches to date but also can guide the design for new methods. Subsequently, we categorize and review the existing works from two aspects, i.e., the problem setup and the employed techniques. Finally, we provide a detailed analysis of AutoML approaches and explain the reasons underneath their successful applications. We hope this survey can serve as not only an insightful guideline for AutoML beginners but also an inspiration for future research.

연구 동기 및 목표

• 머신 러닝 파이프라인의 핵심 단계를 자동화하여 인간의 전문 지식을 줄이려는 증가하는 수요를 해결하기 위해.
• 자동화와 머신 러닝의 원칙을 통합함으로써 AutoML 문제를 정의하고 체계화하기 위해.
• 기존 방법을 포함하고 미래의 방법 설계를 안내할 수 있는 일반화 가능한 AutoML 프레임워크를 제안하기 위해.
• 문제 설정과 적용된 기법을 기반으로 기존 AutoML 연구를 분류하고 검토하기 위해.
• 실제 응용에서 다양한 AutoML 접근 방식의 성공 원인을 분석하기 위해.

제안 방법

• 이 논문은 머신 러닝 파이프라인을 데이터 전처리, 특징 공학, 모델 선택, 하이퍼파라미터 튜닝 등의 모듈러 컴포넌트로 추상화하는 일반 AutoML 프레임워크를 도입한다.
• 이 프레임워크는 문제 설정(예: 표형 데이터, 딥 러닝, 강화 학습 기반)과 기법(예: 베이지안 최적화, 신경망 아키텍처 탐색, 메타러닝)이라는 두 가지 차원에 따라 AutoML 접근 방식을 분류한다.
• 이 프레임워크는 확장 가능하도록 설계되어 있으며, 새로운 방법이 이 구조에 매핑되고 신규 AutoML 기법 개발을 안내할 수 있도록 한다.
• 최신 기법들을 포괄하고 관련성이 있도록 산업 및 학술 문헌의 통찰을 종합한다.
• 다양한 AutoML 기법들을 통합된 분류 체계 아래에 정리함으로써 방법론적 일관성과 개념적 명료성을 강조한다.
• 성공적인 응용 사례 분석은 알고리즘 설계 및 자동화 전략의 공통 패턴을 식별하는 데 중점을 둔다.

실험 결과

연구 질문

• RQ1 문헌에 흩어진 다양한 접근 방식을 통합하기 위해 AutoML 문제를 어떻게 체계적으로 정의하고 구조화할 수 있는가?
• RQ2 기존 및 향후 방법을 수용할 수 있는 일반 AutoML 프레임워크의 핵심 구성 요소와 모듈러 요소는 무엇인가?
• RQ3 다양한 문제 설정(예: 지도 학습, 강화 학습)은 AutoML 시스템의 설계와 성능에 어떻게 영향을 미치는가?
• RQ4 다양한 AutoML 하위 작업에서 가장 효과적인 기법은 무엇이며, 실무에서 성공하는 이유는 무엇인가?
• RQ5 현행 최고 수준의 AutoML 시스템이 실세계 응용에서 성공하는 데 공통적으로 작용하는 요소는 무엇인가?

주요 결과

• 제안된 AutoML 프레임워크는 기존 AutoML 접근 방식의 대부분을 일관되고 확장 가능한 아키텍처로 통합하고 구조화하는 데 성공했다.
• 베이지안 최적화는 하이퍼파라미터 튜닝에서, 신경망 아키텍처 탐색에서는 신경망 아키텍처 탐색 기법이 각각 특히 효과적인 것으로 나타났다.
• 메타러닝 및 앙상블 방법은 다양한 데이터셋과 문제 유형에 걸쳐 뛰어난 일반화 성능을 보였다.
• AutoML 시스템의 성공은 종종 효과적인 탐색 전략과 데이터 전처리 및 특징 공학의 강력한 자동화에 기인한다.
• 서베이에서는 여러 단계의 머신 러닝 파이프라인을 동시에 최적화하는 종단 간 자동화 추세를 명확히 규명했다.
• 프레임워크는 구성 요소와 상호작용을 명확히 정의함으로써 연구자가 새로운 AutoML 방법을 설계할 수 있는 실질적인 로드맵을 제공한다.