[논문 리뷰] An ADMM Based Framework for AutoML Pipeline Configuration

Sijia Liu, Parikshit Ram외 7명|arXiv (Cornell University)|2019. 05. 01.

Machine Learning and Data Classification참고 문헌 29인용 수 10

한 줄 요약

이 논문은 복잡한 혼합 정수 및 연속 변수, 블랙박스 최적화 문제를 다루는 ADMM 기반 프레임워크를 제안한다. 이는 복잡한 혼합 정수 및 연속 변수, 블랙박스 최적화 문제를 다루는 ADMM 기반 프레임워크를 제안한다. ADMM의 교차 최적화를 활용하여 공동 알고리즘 선택 및 하이퍼파라미터 튜닝을 효율적으로 처리하면서 일반적인 블랙박스 제약 조건을 통합한다. Auto-sklearn 및 TPOT보다 50%의 데이터셋에서 성능이 뛰어나며, 빠른 속도 향상과 정확도 향상을 보였다.

ABSTRACT

We study the AutoML problem of automatically configuring machine learning pipelines by jointly selecting algorithms and their appropriate hyper-parameters for all steps in supervised learning pipelines. This black-box (gradient-free) optimization with mixed integer & continuous variables is a challenging problem. We propose a novel AutoML scheme by leveraging the alternating direction method of multipliers (ADMM). The proposed framework is able to (i) decompose the optimization problem into easier sub-problems that have a reduced number of variables and circumvent the challenge of mixed variable categories, and (ii) incorporate black-box constraints along-side the black-box optimization objective. We empirically evaluate the flexibility (in utilizing existing AutoML techniques), effectiveness (against open source AutoML toolkits),and unique capability (of executing AutoML with practically motivated black-box constraints) of our proposed scheme on a collection of binary classification data sets from UCI ML& OpenML repositories. We observe that on an average our framework provides significant gains in comparison to other AutoML frameworks (Auto-sklearn & TPOT), highlighting the practical advantages of this framework.

연구 동기 및 목표

• 감독 학습 기반 머신러닝 파이프라인에서 공동 알고리즘 선택 및 하이퍼파라미터 최적화 문제를 해결하기 위한 것이다.
• 기울기 정보가 필요 없이 AutoML에서 혼합 정수 및 연속 변수 공간을 다루기 위한 것이다.
• AutoML 최적화 과정에 일반적인 블랙박스 제약 조건을 통합하기 위한 것이다.
• ADMM를 사용하여 복잡한 파이프라인 구성 문제를 더 단순하고 해결 가능한 부분 문제로 분해하기 위한 것이다.
• 기존 AutoML 툴킷인 Auto-sklearn 및 TPOT보다 효율성과 효과성을 향상시키기 위한 것이다.

제안 방법

• 프레임워크는 파이프라인 구성 문제를 세 부분 문제로 분해하기 위해 교차 방향 다중 승수 방법(ADMM)을 사용한다: 연속 하이퍼파라미터 최적화, 정수 투영, 알고리즘 선택.
• ADMM는 원시 변수와 이중 변수 간의 교차 최적화를 가능하게 하여 혼합 정수 및 연속 변수를 분리한다.
• 이 방법은 부분 문제의 구조를 변경하지 않고도 ADMM 프레임워크를 통해 자연스럽게 블랙박스 제약 조건을 통합한다.
• ADMM 알고리즘의 빠른 벤치마킹을 가능하게 하면서 AutoML 평가 비용을 시뮬레이션할 수 있도록 새로운 목적 함수를 설계하였다.
• 변수 길이, 비순차적, 재사용 가능한 파이프라인 모듈을 지원하여 복잡한 아키텍처 탐색을 가능하게 하였다.
• 함수 평가 간 재현 가능성을 보장하기 위해 고정된 난수 시드를 사용하였다.

실험 결과

연구 질문

• RQ1 ADMM는 공동 알고리즘 선택 및 하이퍼파라미터 최적화 문제를 더 단순하고 해결 가능한 부분 문제로 효과적으로 분해할 수 있는가?
• RQ2 제안된 ADMM 기반 프레임워크는 Auto-sklearn 및 TPOT와 같은 기존 AutoML 도구와 비교해 어떻게 성능을 내는가?
• RQ3 이 프레임워크는 AutoML 파이프라인 구성에서 일반적인 블랙박스 제약 조건을 어느 정도 효과적으로 처리할 수 있는가?
• RQ4 이 분해 방식은 실제 AutoML 작업에서 상당한 속도 향상과 성능 향상을 이끌어낼 수 있는가?
• RQ5 이 프레임워크는 복잡하고 비순차적이며 길이가 변하는 파이프라인을 효율적으로 탐색할 수 있는가?

주요 결과

• ADMM 기반 프레임워크는 UCI 및 OpenML 레포지터리의 벤치마크 데이터셋 중 50%에서 Auto-sklearn 및 TPOT를 초월하였다.
• Auto-sklearn는 27%의 데이터셋에서 최고 성능를 기록했고, TPOT는 20%에서 최고 성능를 기록했다.
• 다수의 케이스에서 기준 방법 대비 최적화 시간이 10배 이상 빨라졌다.
• 기타 AutoML 프레임워크 평균 대비 성능 향상이 약 10% 달성하였다.
• 핵심 부분 문제의 구조를 수정하지 않고도 일반적인 블랙박스 제약 조건을 최적화 과정에 성공적으로 통합하였다.
• 인위적 목적 함수는 최소한의 계산 비용으로 ADMM 알고리즘의 평가를 효율적으로 가능하게 하여 스케일링 능력과 강건성을 검증하였다.