[논문 리뷰] Automated Machine Learning via ADMM.

Sijia Liu, Parikshit Ram외 5명|arXiv (Cornell University)|2019. 05. 01.

Machine Learning and Data Classification참고 문헌 33인용 수 9

한 줄 요약

이 논문은 증강 라그랑주 함수를 통해 문제를 분해함으로써 알고리즘 선택과 하이퍼파rameter 최적화(HPO)를 동시에 최적화하는 ADMM 기반 AutoML 프레임워크를 제안한다. 이는 혼합 정수형 HPO와 조합적 밴딧 기반 알고리즘 선택을 위한 효율적이고 쿼리 효율적인 베이지안 최적화를 가능하게 한다. 제안된 방법은 벤치마크 데이터셋에서 TPOT 및 Auto-sklearn과 같은 최신 AutoML 도구들을 능가한다.

ABSTRACT

We study the automated machine learning (AutoML) problem of jointly selecting appropriate algorithms from an algorithm portfolio as well as optimizing their hyper-parameters for certain learning tasks. The main challenges include a) the coupling between algorithm selection and hyper-parameter optimization (HPO), and b) the black-box optimization nature of the problem where the optimizer cannot access the gradients of the loss function but may query function values. To circumvent these difficulties, we propose a new AutoML framework by leveraging the alternating direction method of multipliers (ADMM) scheme. Due to the splitting properties of ADMM, algorithm selection and HPO can be decomposed through the augmented Lagrangian function. As a result, HPO with mixed continuous and integer constraints are efficiently handled through a query-efficient Bayesian optimization approach and Euclidean projection operator that yields a closed-form solution. Algorithm selection in ADMM is naturally interpreted as a combinatorial bandit problem. The effectiveness of our proposed methodology is compared to state-of-the-art AutoML schemes such as TPOT and Auto-sklearn on numerous benchmark data sets.

연구 동기 및 목표

• 자동화된 머신러닝(AutoML)에서 알고리즘 선택과 하이퍼파aram터 최적화(HPO)의 결합된 과제를 해결하기 위해.
• 혼합 연속형 및 정수형 하이퍼파aram터를 가진 HPO의 블랙박스이자 기울기 기반 최적화가 불가능한 특성을 다루기 위해.
• 알고리즘 선택을 조합적 밴딧 문제로 모델링하여 알고리즘 포트폴리오의 효율적 탐색을 가능하게 하기 위해.
• ADMM를 사용하여 문제를 분해함으로써 확장성과 수렴성 향상을 위한 통합된 프레임워크를 개발하기 위해.

제안 방법

• 증강 라그랑주 함수를 통해 알고리즘 선택과 HPO 문제를 분해하기 위해 순환 다중승수 방법(ADMM)을 활용한다.
• 유클리드 사영을 통해 닫힌 형태의 해를 얻는 쿼리 효율적인 베이지안 최적화 전략을 사용하여 혼합 정수형 하이퍼파aram터 공간을 처리한다.
• 알고리즘 선택을 조합적 밴딧 문제로 모델링하여 이산적 알고리즘 선택의 효율적 탐색을 가능하게 한다.
• 알고리즘 선택과 HPO를 번갈아가며 풀 수 있는 하위문제로 분리하는 분할 메커니즘을 도입한다. 각 하위문제에는 전문화된 최적화 기법이 적용된다.
• 증강 라그랑주를 사용하여 알고리즘 선택 및 HPO 구성 요소 간의 일치를 강제함으로써 최적화의 조율을 보장한다.
• 유클리드 사영을 적용하여 최적화 과정에서 정수형 및 연속형 하이퍼파aram터의 타당성을 유지한다.

실험 결과

연구 질문

• RQ1 ADMM는 AutoML에서 알고리즘 선택과 하이퍼파aram터 최적화를 효과적으로 분리하면서도 성능을 유지할 수 있는가?
• RQ2 ADMM와 통합된 경우, 베이지안 최적화가 혼합 정수형 하이퍼파aram터 공간을 얼마나 효율적으로 다룰 수 있는가?
• RQ3 알고리즘 선택을 위한 조합적 밴딧 공식화가 랜덤 또는 탐욕적 선택 전략보다 AutoML에서 우월한 성능을 보일 수 있는가?
• RQ4 제안된 ADMM 기반 프레임워크는 최신 AutoML 도구보다 더 나은 일반화 성능과 낮은 쿼리 복잡도를 달성하는가?

주요 결과

• 제안된 ADMM 기반 AutoML 프레임워크는 여러 벤치마크 데이터셋에서 TPOT 및 Auto-sklearn보다 뛰어난 성능을 달성한다.
• 베이지안 최적화와 유클리드 사영의 통합은 혼합 정수형 하이퍼파aram터 공간에서 효율적이고 타당한 최적화를 가능하게 한다.
• 알고리즘 선택을 위한 조합적 밴딧 공식화는 계산 오버헤드를 줄이며 알고리즘 포트폴리오의 효과적 탐색을 가능하게 한다.
• 베이지안 최적화 구성 요소의 쿼리 효율성 덕분에 표본 효율성이 향상됨을 입증했다.
• ADMM를 통한 분해 덕분에 알고리즘 선택과 HPO 문제의 안정적이고 확장 가능한 최적화가 가능해졌다.
• 실증 결과는 본 방법이 예측 성능 측면에서 최신 AutoML 기준선을 일관되게 능가하거나 동등하게 유지함을 보여준다.