[논문 리뷰] Multi-label classification search space in the MEKA software

Alex G. C. de Sá, Alex A. Freitas외 2명|arXiv (Cornell University)|2018. 11. 28.

Text and Document Classification Technologies참고 문헌 60인용 수 4

한 줄 요약

이 논문은 MEKA 및 WEKA 프레임워크에서 다중 레이블 분류(MLC) 알고리즘의 검색 공간을 모델링하기 위해 형식적인 문맥 자유 문법을 제안하며, 자동화된 MLC 방법의 체계적 실험 평가를 가능하게 한다. 26개의 MLC 알고리즘, 28개의 단일 레이블 분류기, 10개의 메타알고리즘을 명시적인 제약 조건, 종속성, 하이퍼파라미터 설정과 함께 통합하여 자동화된 머신러닝 파이프라인을 위한 종합적이고 실행 가능한 검색 공간을 제공한다.

ABSTRACT

This supplementary material aims to describe the proposed multi-label classification (MLC) search spaces based on the MEKA and WEKA softwares. First, we overview 26 MLC algorithms and meta-algorithms in MEKA, presenting their main characteristics, such as hyper-parameters, dependencies and constraints. Second, we review 28 single-label classification (SLC) algorithms, preprocessing algorithms and meta-algorithms in the WEKA software. These SLC algorithms were also studied because they are part of the proposed MLC search spaces. Fundamentally, this occurs due to the problem transformation nature of several MLC algorithms used in this work. These algorithms transform an MLC problem into one or several SLC problems in the first place and solve them with SLC model(s) in a next step. Therefore, understanding their main characteristics is crucial to this work. Finally, we present a formal description of the search spaces by proposing a context-free grammar that encompasses the 54 learning algorithms. This grammar basically comprehends the possible combinations, the constraints and dependencies among the learning algorithms.

연구 동기 및 목표

• MEKA 및 WEKA를 사용하여 자동 다중 레이블 분류(MLC) 방법을 위한 종합적이고 실행 가능한 검색 공간을 정의하기 위해.
• 26개의 MLC 알고리즘과 28개의 단일 레이블 분류기 간의 종속성, 제약 조건, 하이퍼파라미터 설정을 모델링하기 위해.
• 문제 변환, 알고리즘 적응, 메타알고리즘 간의 상호작용을 형식화하여 MLC 파이프라인의 체계적 실험 평가를 가능하게 하기 위해.
• 구조화된 문법 기반 표현을 제공함으로써 자동 머신러닝(AutoML) 워크플로우를 지원하기 위해.

제안 방법

• MEKA 및 WEKA에서 사용되는 54개의 학습 알고리즘(26개의 MLC, 28개의 SLC, 10개의 메타알고리즘)을 공식적으로 기술하는 문맥 자유 문법을 제안한다.
• 문제 변환(PT) 방법을 위한 생성 규칙을 정의하며, Bayesian Classifier Chains(BCC) 및 Population of MCC(PMCC)와 같은 제약 조건이 있는 알고리즘을 위한 전용 규칙도 포함한다.
• 알고리즘 적응(AA) 방법을 위한 별도의 문법 규칙을 도입하며, 예를 들어 ML-BPNN는 에포크 수, 은닉 유닛 수, 학습률, 모멘텀 등의 하이퍼파라미터를 포함한다.
• 계층적 규칙(<META-MLC1>, <META-MLC2>, <META-MLC3>)을 통해 메타알고리즘 통합을 모델링하여 어떤 MLC 알고리즘이 어떤 메타알고리즘과 조합될 수 있는지에 대한 제약 조건을 강제한다.
• 랜덤 생성 함수(RANDOM-INT, RANDOM-REAL 등)를 사용하여 하이퍼파라미터의 범위를 표현함으로써 현실적인 검색 공간의 경계를 반영한다.
• BCC가 오직 네 가지 특정 메타알고리즘과만 조합 가능하다는 알려진 MEKA 소프트웨어 제약 조건을 인코딩하여 잘못된 구성 방지를 보장한다.

실험 결과

연구 질문

• RQ1 MEKA 및 WEKA에서 다중 레이블 분류 알고리즘의 검색 공간을 어떻게 형식적으로 기술할 수 있으며, 이는 자동 실험 평가를 지원하는가?
• RQ2 MLC 알고리즘 간의 핵심 종속성, 제약 조건, 하이퍼파라미터 설정은 무엇이며, 메타알고리즘과의 통합 과정에서 어떻게 나타나는가?
• RQ3 문제 변환, 알고리즘 적응, 메타알고리즘 방법의 어떤 조합이 MEKA 프레임워크 내에서 유효하고 실행 가능한가?
• RQ4 문맥 자유 문법을 어떻게 사용하여 MLC 알고리즘, 단일 레이블 분류기, 메타알고리즘 간의 복잡한 상호작용을 현실적인 소프트웨어 동작을 반영하는 방식으로 모델링할 수 있는가?
• RQ5 임계값 캘리브레이션(예: PCut1, PCutL)은 MLC 성능 향상에 어떤 역할을 하는가? 그리고 검색 공간에 어떻게 통합되는가?

주요 결과

• 제안된 문법은 명시적인 제약 조건과 하이퍼파라미터 범위를 포함하여 54개의 학습 알고리즘(26개의 MLC, 28개의 SLC, 10개의 메타알고리즘)을 성공적으로 모델링하였다.
• 문제 변환 방법(PT)은 MLC 알고리즘의 84.21%(19개 중 16개)를 차지하며, BCC 및 PMCC와 같은 다양한 제약 수준에 맞는 별도의 문법 규칙이 존재한다.
• 알고리즘 적응(AA) 방법으로는 ML-BPNN만 모델링되었으며, 하이퍼파라미터로는 에포크 수(10–1000), 은닉 유닛 수(0.2–1.0 × 특성 수), 학습률(0.001–0.1), 모멘텀(0.2–0.8)이 포함되어 있다.
• BaggingML 및 EnsembleML 등의 메타알고리즘은 특정 파라미터 범위가 필요하며, 백업 크기 백분율(10–50)과 특성 백분율(10–100)을 포함한다. 특히 EnsembleML는 백업 크기 범위를 별도로 설정하여 52–72의 범위를 사용한다.
• 문법은 소프트웨어 수준의 제약 조건을 강제하며, 예를 들어 BCC는 오직 네 가지 메타알고리즘(SM, RSML, EM, CM)과만 조합 가능하다는 점을 반영하여 잘못된 구성 방지를 보장한다.
• PCut1과 PCutL을 통한 임계값 캘리브레이션은 공식적으로 통합되었으며, PCut1이 기본 설정으로 설정되어 예측 레이블 수의 기대치를 학습 데이터와 일치시켜 예측 신뢰도를 향상시킨다.