[논문 리뷰] Automatic Machine Learning by Pipeline Synthesis using Model-Based Reinforcement Learning and a Grammar

Iddo Drori, Yamuna Krishnamurthy외 5명|Open Repository and Bibliography (University of Luxembourg)|2019. 05. 24.

Machine Learning and Data Classification참고 문헌 21인용 수 18

한 줄 요약

이 논문은 강화학습 기반 AutoML 시스템을 제안하며, 파이프라인 문법과 사전 훈련된 신경망을 사용해 더 빠르고 효율적인 검색을 위한 기계학습 파이프라인을 합성한다. 모델 기반 강화학습과 문법 제약, 전이 학습을 결합함으로써, AutoSklearn와 같은 기존 AutoML 도구보다 최대 10배 빠른 상태의 최고 성능을 달성한다.

ABSTRACT

Automatic machine learning is an important problem in the forefront of machine learning. The strongest AutoML systems are based on neural networks, evolutionary algorithms, and Bayesian optimization. Recently AlphaD3M reached state-of-the-art results with an order of magnitude speedup using reinforcement learning with self-play. In this work we extend AlphaD3M by using a pipeline grammar and a pre-trained model which generalizes from many different datasets and similar tasks. Our results demonstrate improved performance compared with our earlier work and existing methods on AutoML benchmark datasets for classification and regression tasks. In the spirit of reproducible research we make our data, models, and code publicly available.

연구 동기 및 목표

• AutoML에서 기계학습 파이프라인 합성의 고차원적이고 조합적인 탐색 공간을 해결하기 위해.
• 다양한 데이터셋에 일반화할 수 있는 사전 훈련된 모델을 활용해 샘플 효율성과 수렴 속도를 향상시키기 위해.
• 형식적인 파이프라인 문법을 통해 유효한 파이프라인 연산만 제한함으로써 탐색 복잡도를 줄이고 확장성을 향상시키기 위해.
• 몬테카를로 트리 탐색과 신경망 정책 및 가치 예측을 조합하여 AutoML에서 빠른 초기 성능 향상을 가능하게 하기 위해.
• 공개된 데이터, 모델, 코드를 통해 재현 가능한 연구를 지원하기 위해.

제안 방법

• 시스템은 각 상태가 유효한 파이프라인인 단일 플레이어 게임으로 파이프라인 합성을 공식화하며, 동작은 프리미티브의 삽입, 삭제, 또는 치환이고, 보상은 파이프라인 성능에 기반한다.
• 탐색 공간을 제한하기 위해 파이프라인 문법을 정의하여 분지 수를 줄이고 평균 MCTS 깊이를 감소시켜 문법적으로 유효한 파이프라인 연산만 허용한다.
• 행동 확률과 파이프라인 성능 추정치를 예측하기 위해 순서 기반 모델(신경망)을 훈련하여 몬테카를로 트리 탐색(MCTS) 결정을 안내한다.
• 자기 대칭 학습과 반복적 개선을 통한 모델 기반 강화학습을 사용하며, 신경망은 MCTS 롤아웃과 실제 파이프라인 평가 결과에 기반해 업데이트된다.
• 다양한 데이터셋에서 사전 훈련된 모델를 미세조정하여 새로운 작업에 빠르게 적응할 수 있도록 하여, 처음부터 훈련할 필요를 줄인다.
• 메타 특징, 현재 파이프라인, 작업 유형을 신경망의 입력으로 통합하여 다양한 데이터셋과 작업 간의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 파이프라인 문법을 사용할 경우 AutoML 파이프라인 합성에서 탐색 효율성과 성능에 어떤 영향을 미치는가?
• RQ2 초기 성능 향상과 수렴 속도에서, 처음부터 훈련하는 것과 비교해 사전 훈련된 신경망이 얼마나 향상되는가?
• RQ3 MCTS와 신경망 정책의 조합이 MCTS 단독 대비 샘플 효율성과 시간이 지남에 따른 성능 향상 측면에서 어떻게 비교되는가?
• RQ4 제안된 방법이 최첨단 AutoML 기준 대비 상당히 감소된 계산 시간으로 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 사전 훈련된 모델를 통한 전이 학습을 통해 다양한 데이터셋과 작업 간의 일반화는 어떻게 이루어지는가?

주요 결과

• 파이프라인 문법을 사용함으로써 평균 MCTS 분지 수가 3배 감소했고, 평균 탐색 깊이가 10배 감소하여 탐색 효율성이 크게 향상되었다.
• 74개의 OpenML 데이터셋 전반에서 문법을 사용했을 때도 성능이 유지되었으며, 탐색 공간이 크게 감소했음에도 불구하고 솔루션 품질에 떨어짐이 없음을 보여주었다.
• 사전 훈련된 모델는 메타 특징 계산을 포함해 4초 내에 고품질 솔루션에 도달했으며, 처음부터 훈련하는 것보다 2배 빠르게 작동했다.
• 사전 훈련된 모델는 처음부터 훈련하는 것과 비교해 유사하거나 더 나은 성능를 달성했고, 계산의 첫 몇 초 내에 AutoSklearn를 능가했다.
• 특히 계산의 첫 분대에 있어서 AutoSklearn 대비 10배 빠른 속도로 경쟁 가능한 성능를 달성했다.
• 제거 실험 결과, MCTS에 신경망 정책을 추가할 경우 MCTS 단독 대비 동일한 성능 수준에 도달하기 위해 훨씬 적은 단계가 필요했으며, 이는 정책 및 가치 네트워크가 탐색을 안내하는 데 있어 가치가 있음을 입증했다.