[논문 리뷰] Automated Multi-Label Classification based on ML-Plan

Marcel Wever, Felix Mohr외 1명|arXiv (Cornell University)|2018. 11. 09.

Advanced Computational Techniques and Applications인용 수 11

한 줄 요약

이 논문은 MEKA(WEKA의 다중 레이블 확장)를 사용하여 ML-Plan 프레임워크를 확장한 자동 머신러닝(AutoML) 프레임워크인 ML²-Plan을 제안한다. 다중 레이블 분류를 위한 프레임워크로서, 계층적 계획을 통해 다중 레이블 분류기들을 반복적으로 개선하고 최적의 기본 학습기들을 선택함으로써, 다중 레이블 데이터셋에서 랜덤 서치 및 단일 레이블 AutoML 베이스라인보다 유의미하게 뛰어난 성능을 발휘한다.

ABSTRACT

Automated machine learning (AutoML) has received increasing attention in the recent past. While the main tools for AutoML, such as Auto-WEKA, TPOT, and auto-sklearn, mainly deal with single-label classification and regression, there is very little work on other types of machine learning tasks. In particular, there is almost no work on automating the engineering of machine learning applications for multi-label classification. This paper makes two contributions. First, it discusses the usefulness and feasibility of an AutoML approach for multi-label classification. Second, we show how the scope of ML-Plan, an AutoML-tool for multi-class classification, can be extended towards multi-label classification using MEKA, which is a multi-label extension of the well-known Java library WEKA. The resulting approach recursively refines MEKA's multi-label classifiers, which sometimes nest another multi-label classifier, up to the selection of a single-label base learner provided by WEKA. In our evaluation, we find that the proposed approach yields superb results and performs significantly better than a set of baselines.

연구 동기 및 목표

• 자동 머신러닝 분야에서 성장하고 있으나 아직 탐색이 부족한 다중 레이블 분류(Multi-Label Classification, MLC)를 위한 전용 AutoML 도구의 부족을 보완한다.
• MLC를 평탄한 최적화 문제로 간주하는 기존 AutoML 도구의 한계를 극복하기 위해, 반복적이고 계층적인 파이프라인 구축 방식을 활용한다.
• 깊이 있고 중첩된 파이프라인 구조를 지원하는 계획 기반 접근 방식을 통해 다중 레이블 분류기의 자동적이고 인스턴스 기반의 선택 및 설정을 가능하게 한다.
• 랜덤 서치 및 단일 레이블 AutoML 도구(예: Auto-WEKA)와 같은 베이스라인 대비 전용 MLC AutoML 프레임워크의 실현 가능성과 우수성을 입증한다.
• MEKA의 다중 레이블 학습 기능과 함께 계층적 작업 네트워크 계획을 통합하여, 복잡한 MLC 파이프라인의 구성에 대해 확장 가능하고 효과적인 솔루션을 제공한다.

제안 방법

• 프로그램 기반 작업 네트워크 계획(HTN 계획의 衍생 기법)에 기반한 AutoML 프레임워크인 ML-Plan을 다중 레이블 분류 파이프라인의 반복적이고 계층적인 설정을 지원하도록 변형한다.
• 다중 레이블 분류기의 실행 및 평가를 위해 MEKA를 기반 구현 계층으로 사용하여, WEKA의 광범위한 단일 레이블 학습기 라이브러리와의 통합을 가능하게 한다.
• 검색 과정을 반복적 개선 구조로 구성한다: 먼저 다중 레이블 메타-학습기 선택 → 필요에 따라 다른 다중 레이블 분류기로 개선 → 마지막으로 이진 분류를 위한 단일 레이블 기반 학습기 선택.
• 복잡한 MLC 검색 공간(파rameter 튜닝 및 알고리즘 선택 포함) 탐색을 위해 ML-Plan이 기존에 보유한 우선순위 및 검색 전략을 활용한다.
• 고정된 타임아웃 내에서 계층적 설정 공간을 효율적으로 탐색하기 위해 베이지안 최적화 및 SMAC 유사 기법을 적용한다.
• 모든 파이프라인 설정이 표준 MLC 성능 지표(예: F1, 해밍 손실)를 사용해 대상 데이터셋에서 실행되고 평가되도록 보장한다.

실험 결과

연구 질문

• RQ1 계층적이고 계획 기반의 AutoML 접근 방식은 다중 레이블 분류 파이프라인의 자동 설정에 효과적으로 작용하는가?
• RQ2 ML²-Plan은 다중 레이블 분류 작업에서 랜덤 서치 및 단일 레이블 AutoML 도구(예: Auto-WEKA)와 같은 기존 베이스라인을 능가하는가?
• RQ3 다중 레이블 분류기의 반복적이고 중첩된 구조는 평탄한 최적화 대비 계층적 계획에 얼마나 큰 이점을 얻는가?
• RQ4 ML²-Plan의 설정에서 선택된 다중 레이블 분류기와 기반 학습기는 얼마나 다양한가? 특정 분류기나 학습기가 지배적인가?
• RQ5 ML²-Plan의 확장성 한계는 무엇이며, 향후 서비스 기반 아키텍처나 앙상블 방법을 통해 이를 어떻게 보완할 수 있는가?

주요 결과

• ML²-Plan은 랜덤 서치와 Auto-WEKA를 사용해 다중 레이블 문제를 이진 관련성으로 환원하는 베이스라인 모두를 뛰어넘어, 전용 MLC AutoML 프레임워크의 가치를 입증한다.
• 프레임워크는 다양한 다중 레이블 분류기를 성공적으로 설정하였으며, 모든 데이터셋에서 특정 분류기가 지배적이지 않음을 확인하여, 인스턴스 기반의 파이프라인 선택이 효과적임을 보여준다.
• 랜덤 트리 및 나이브 베이즈 다항분포와 같은 기반 학습기가 더 자주 선택되었지만, 이는 주로 ML-Plan의 검색 순서에서의 우선순위 때문이며, 본질적 우수성 때문은 아니다.
• 일부 기반 학습기의 선택 부족은 탐색 시간이 부족하기 때문이었으며, 우선순위가 낮은 학습기는 타임아웃 전에 평가되지 못해 발생한 확장성 한계로 분석된다.
• ML²-Plan의 반복적이고 계층적인 구조는 데이터세트 특성에 더 잘 적응하는 복잡하고 중첩된 파이프라인을 구성할 수 있도록 한다.
• 결과적으로 다중 레이블 분류 파이프라인은 인스턴스 기반 최적화에서 유의미한 이점을 얻으며, 모든 데이터셋에서 동일한 분류기나 기반 학습기가 항상 지배적이지 않다는 점이 확인되었다.