[논문 리뷰] AlphaD3M: Machine Learning Pipeline Synthesis

Iddo Drori, Yamuna Krishnamurthy외 6명|Open Repository and Bibliography (University of Luxembourg)|2021. 11. 03.

Machine Learning and Data Classification참고 문헌 16인용 수 21

한 줄 요약

AlphaD3M는 메타강화학습을 사용하는 AutoML 시스템으로, 자가대전과 몬테카를로 트리 탐색(MCTS)을 통해 기반 원소에 대한 편집 연산을 통해 기계학습 파이프라인을 합성한다. 이는 OpenML 데이터셋에서 경쟁 가능한 성능을 달성하면서도 계산 시간을 한 단계 낮추어 시간에서 분으로 줄이며, 설계 시부터 설명 가능성을 보장한다.

ABSTRACT

We introduce AlphaD3M, an automatic machine learning (AutoML) system based on meta reinforcement learning using sequence models with self play. AlphaD3M is based on edit operations performed over machine learning pipeline primitives providing explainability. We compare AlphaD3M with state-of-the-art AutoML systems: Autosklearn, Autostacker, and TPOT, on OpenML datasets. AlphaD3M achieves competitive performance while being an order of magnitude faster, reducing computation time from hours to minutes, and is explainable by design.

연구 동기 및 목표

• 다양한 데이터셋과 작업에 대해 종단간 기계학습 파이프라인을 합성할 수 있는 효율적이고 설명 가능한 AutoML 시스템을 개발하기 위해.
• 자동화된 기계학습에서 파이프라인과 하이퍼파라미터 조합의 고차원 탐색 공간을 해결하기 위해.
• 자기대전을 통한 메타강화학습을 활용해 경험과 정책 개선을 통해 반복적으로 파이프라인 합성을 향상시키기 위해.
• 모든 결정을 추적 가능한 편집 연산의 시퀀스로 모델링함으로써 설명 가능성을 보장하기 위해.
• 기존 AutoML 시스템인 TPOT, Autosklearn, Autostacker와 비교해 계산 시간을 크게 단축시키기 위해.

제안 방법

• 파이프라인 합성 문제를 단일 플레이어 게임으로 표현하며, 상태에는 메타데이터, 작업 및 현재 파이프라인 구성이 포함된다.
• 딥 네트워크를 사용해 행동 확률과 파이프라인 성능 예측치를 추정하여 MCTS 탐색 중 지도를 제공한다.
• 삽입, 삭제, 대체와 같은 편집 연산을 파이프라인 원소에 적용해 새로운 파이프라인 상태를 생성함으로써 설명 가능성을 확보한다.
• 자기대전을 통한 몬테카를로 트리 탐색(MCTS)을 사용해 고차원 탐색 공간을 효율적으로 탐색하며, 신경망 예측을 통해 탐색을 안내한다.
• 생성된 파이프라인의 실제 세계 평가를 통해 손실 함수를 업데이트하며, 신경망 예측과 MCTS 롤아웃을 결합해 정책을 정교화한다.
• 반복적 자기 향상 방식인 전문가 반복을 구현하여, 에이전트가 스스로 생성한 경험에서 배워 성능을 시간이 지남에 따라 향상시킨다.

실험 결과

연구 질문

• RQ1 자기대전과 MCTS를 통한 메타강화학습 접근 방식이 기계학습 파이프라인의 고차원 탐색 공간을 효과적으로 탐색할 수 있는가?
• RQ2 AlphaD3M의 성능는 TPOT, Autosklearn, Autostacker와 같은 최첨단 AutoML 시스템과 정확도와 속도 측면에서 어떻게 비교되는가?
• RQ3 파이프라인 구축 시 편집 연산을 사용할 경우 최종 모델의 설명 가능성은 어느 정도 향상되는가?
• RQ4 기존 방법과 비교해 계산 시간을 한 단계 낮추는 동안 경쟁 가능한 성능를 달성할 수 있는가?
• RQ5 이 방법은 OpenML 벤치마크에서 다양한 표본형 데이터셋과 작업(분류, 회귀)에 대해 얼마나 일반화 가능한가?

주요 결과

• AlphaD3M는 OpenML의 180개 분류 데이터셋 중 75%에서 기준 SGD 파이프라인을 능가하며, 18%에서는 유사한 성능를 보이고, 오직 7%에서만 열 劣한 성능를 보였다.
• AlphaD3M는 그림 3에 나타난 정규화된 성능 비교를 통해 다양한 추정기에서 경쟁 가능한 성능를 달성했다.
• 평균적으로 AlphaD3M는 계산 시간을 한 단계 낮춰 분 단위로 결과를 도출함으로써 TPOT 대비 평균 7.3배에서 32.2배, Autostacker 대비 4배에서 15.1배의 속도 향상을 보였다.
• AlphaD3M의 성능는 OpenML 벤치마크 데이터셋 전반에서 TPOT, Autosklearn, Autostacker와 유사하며, 교차검증 결과에서 겹치는 신뢰구간을 보였다.
• 편집 연산의 사용으로 인해 모든 파이프라인 구축 단계가 추적 가능하고 명시적 행동에서 유도됨을 보장해 완전한 설명 가능성을 확보했다.
• 신경망 정책 학습과 MCTS의 통합은 복잡한 파이프라인 공간의 효율적 탐색을 가능하게 하여 더 빠른 수렴과 향상된 샘플 효율성을 이끌어냈다.