[논문 리뷰] ReinBo: Machine Learning pipeline search and configuration with Bayesian Optimization embedded Reinforcement Learning

Xudong Sun, Jiali Lin외 1명|arXiv (Cornell University)|2019. 04. 10.

Machine Learning and Data Classification참고 문헌 29인용 수 9

한 줄 요약

ReinBo는 기계학습 파이프라인의 계층적이고 조건부 하이퍼파rameter 공간에서 함께 검색하고 설정하는 데 Bayesian Optimization(BO)을 강화학습(RL) 파이프라인에 통합한 혁신적인 AutoML 프레임워크를 제안한다. 문제를 파이프라인 선택 및 하이퍼파ram터 최적화 하위 작업으로 분해함으로써, Auto-sklearn, TPOT, Random Search보다 더 빠른 수렴 속도와 더 낮은 자원 사용량으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Machine learning pipeline potentially consists of several stages of operations like data preprocessing, feature engineering and machine learning model training. Each operation has a set of hyper-parameters, which can become irrelevant for the pipeline when the operation is not selected. This gives rise to a hierarchical conditional hyper-parameter space. To optimize this mixed continuous and discrete conditional hierarchical hyper-parameter space, we propose an efficient pipeline search and configuration algorithm which combines the power of Reinforcement Learning and Bayesian Optimization. Empirical results show that our method performs favorably compared to state of the art methods like Auto-sklearn , TPOT, Tree Parzen Window, and Random Search.

연구 동기 및 목표

• 기계학습 파이프라인에서 복잡하고 조건부이며 계층적인 하이퍼파rameter 공간을 최적화하는 과제를 해결한다.
• 파이프라인 구성과 하이퍼파ram터 튜닝을 별도로 다루거나 조건부 공간을 평탄한 표현 방식으로 사용하는 기존 AutoML 시스템을 개선한다.
• 최소한의 계산 비용으로 혼합 이산 및 연속 조건부 검색 공간을 효율적으로 탐색하는 방법을 개발한다.
• 전문가 없이도 자동으로 기계학습 파이프라인을 구축하고 설정할 수 있도록 한다.
• 일반 하드웨어에서 실용적으로 배포 가능한 경량이고 효율적인 구현을 제공한다.

제안 방법

• 파이프라인 검색 및 하이퍼파라미터 설정 문제를 계층적 마르코프 결정 과정(MDP)으로 공식화하며, 행동은 파이프라인 구성 요소와 하이퍼파라미터 선택을 의미한다.
• Q-학습 프레임워크 내에 Bayesian Optimization을 통합하여 각 선택된 파이프라인에 대한 하이퍼파라미터 구성 탐색을 안내한다.
• 최적화를 두 하위 작업으로 분해한다: (1) RL을 통한 파이프라인 구성 요소 선택, (2) 각 활성 파이프라인에 대해 BO를 통한 하이퍼파라미터 최적화.
• Ancestral sampling과 Parzen 창 밀도 추정기를 사용하여 조건부 하이퍼파라미터 분포를 모델링함으로써 효율적인 제안 생성을 가능하게 한다.
• Hyperband의 연속적인 절반 줄임 방식을 영감으로 받아 자원 할당 문제를 RL 프레임워크로 재구성함으로써 탐색과 이용 간의 트레이드오���을 활용한다.
• 일반 하드웨어에서 효율적인 실행을 위해 `reinbo`라는 경량 R 패키지를 구현하였으며, 조건부 공간 내 이산 및 연속 하이퍼파라미터를 모두 지원한다.

실험 결과

연구 질문

• RQ1 Bayesian Optimization가 강화학습 프레임워크에 효과적으로 통합되어 파이프라인 구성과 하이퍼파라미터를 함께 최적화할 수 있는가?
• RQ2 제안된 ReinBo 방법은 Auto-sklearn, TPOT, Random Search와 같은 최신 기술 수준의 AutoML 시스템과 비교해 성능과 효율성 면에서 어떻게 다른가?
• RQ3 하이퍼파라미터 공간의 계층적이고 조건부 구조가 AutoML 알고리즘의 확장성과 수렴 속도에 얼마나 큰 영향을 미치는가?
• RQ4 BO를 RL에 통합함으로써 샘플 효율성이 향상되고, 파이프라인 검색에서 비용이 많이 드는 모델 평가 횟수가 줄어드는가?
• RQ5 다양한 데이터셋에서 예측 정확도와 계산 비용 측면에서 ReinBo의 성능은 어떻게 변하는가?

주요 결과

• ReinBo는 15개의 벤치마크 데이터셋에서 Random Search, TPE, Auto-sklearn, TPOT-light, TPOT를 모두 앞서며, Mann-Whitney U 검정에서 유의수준 α=0.05에서 15개 중 5개에서 승리했다.
• ReinBo는 15개 데이터셋 중 10개에서 최고의 중앙값 성능를 기록했으며, 당뇨병 및 오존 농도 8시간 데이터셋을 포함해 8개 데이터셋에서 가장 낮은 평균 오분류 오차(mmce)를 기록했다.
• 10회 반복에 걸친 mmce 상자 그림에서 좁은 interquartile 범위를 보이며 높은 안정성을 입증하여, 실행 간 일관된 성능을 보였다.
• Auto-sklearn 및 TPOT보다 훨씬 적은 계산 시간을 요구했으며, 각 데이터셋 평균 런타임이 Random Search보다 낮고 TPOT-light와 경쟁 수준이었다.
• ReinBo의 최종 파이프라인에서 가장 자주 선택된 파이프라인 구성 요소는 스케일링(51.8%), FilterAnova(42.0%), ksvm(55.2%)였으며, 이러한 구성에 대한 강한 선호도를 보였다.
• ksvm는 55.2%의 상대 빈도를 기록했고, ranger는 40.2%를 기록하여 다양한 데이터 유형에서 높은 성능을 내는 분류기들을 효과적으로 식별했다.