[논문 리뷰] MLC Toolbox: A MATLAB/OCTAVE Library for Multi-Label Classification

Keigo Kimura, Lu Sun외 1명|arXiv (Cornell University)|2017. 04. 09.

Text and Document Classification Technologies참고 문헌 5인용 수 13

한 줄 요약

MLC 툴박스는 다중 레이블 분류(Multi-Label Classification, MLC)를 위한 포괄적인 MATLAB/OCTAVE 라이브러리로, 사용자가 다양한 MLC 방법—특징 공간 및 레이블 공간 차원 감소, 군집화, 앙상블 기법, 기본 분류기 등을 포함하여 유연하고 모듈식 프레임워크를 통해 구현, 비교, 조합할 수 있도록 지원한다. 이는 MATLAB/OCTAVE 환경에서 사용하는 연구자들에게 중요한 생태계 격차를 메우는 첫 번째 라이브러리로, 다양한 MLC 방법과 그 조합을 넓게 지원한다.

ABSTRACT

Multi-Label Classification toolbox is a MATLAB/OCTAVE library for Multi-Label Classification (MLC). There exists a few Java libraries for MLC, but no MATLAB/OCTAVE library that covers various methods. This toolbox offers an environment for evaluation, comparison and visualization of the MLC results. One attraction of this toolbox is that it enables us to try many combinations of feature space dimension reduction, sample clustering, label space dimension reduction and ensemble, etc.

연구 동기 및 목표

• Mulang 및 MEKA와 같은 자바 기반 라이브러리가 존재하는 바에도 불구하고, 다중 레이블 분류(Multi-Label Classification, MLC)를 위한 종합적인 MATLAB/OCTAVE 라이브러리가 부족한 문제를 해결하기 위해.
• 연구자들이 특징 차원 감소, 군집화, 앙상블 학습, 임계값 전략 등 다양한 MLC 방법을 쉽게 구현, 비교, 조합할 수 있도록 지원하기 위해.
• 기존의 알고리즘과 사용자 정의 알고리즘을 모두 지원하는 통합적이고 확장 가능한 환경을 제공하여 MATLAB/OCTAVE 생태계 내에서 MLC 알고리즘을 통합하기 위해.
• LIBLINEAR 및 LIBSVM과 같은 일반적인 머신러닝 도구와의 통합을 통해 모듈식이고 운영체제에 종속되지 않는 프레임워크를 제공함으로써 방법 평가 및 시각화를 촉진하기 위해.
• MATLAB 기반 MLC 구현과 자바 기반 라이브러리 간의 격차를 해소하기 위해 상호 비교 및 상호 운용성을 가능하게 하기 위해.

제안 방법

• 툴박스는 사용자 정의 알고리즘을 위한 Newmethod_train.m, Newmethod_test.m, SetNewmethodParameter.m 등의 모듈식 함수를 제공하여 MLC 방법의 학습 및 테스트를 지원한다.
• 특징 공간 차원 감소(FSDR), 레이블 공간 차원 감소(LSDR), 군집화, 앙상블 방법 등의 MLC 구성 요소를 임의의 순서로 계층적으로 조합할 수 있다.
• MEX 함수를 통해 LIBLINEAR 및 LIBSVM과 같은 외부 라이브러리를 통합하여 선형 SVM 및 리지 회귀와 같은 기본 분류기의 효율적인 계산을 지원한다.
• 사용자는 SetPCAParameter.m와 같은 전용 파라미터 설정 함수를 통해 파라미터를 정의할 수 있으며, 데이터셋 크기에 따라 동적으로 조정 가능한 값('numF*0.5' 등)도 지원한다.
• Rcut, Pcut, Scut 등의 임계값 전략이 구현되어 연속적인 출력을 이산 레이블 집합으로 변환한다.
• 툴박스는 확장 가능하도록 설계되어 있어 연구자들이 최소한의 코드 수정으로 새로운 MLC 방법을 쉽게 통합하고 기존 평가 파ipelines와 완전히 호환할 수 있다.

실험 결과

연구 질문

• RQ1 다양한 방법 조합을 지원할 수 있도록 다중 레이블 분류를 위한 포괄적이고 확장 가능한 MATLAB/OCTAVE 라이브러리의 설계 방법은 무엇인가?
• RQ2 특징 공간 감소, 레이블 공간 감소, 군집화, 앙상블 방법을 융통성 있는 파이프라인에서 조합할 경우 MLC 성능에 미치는 영향은 어떠한가?
• RQ3 MLC 툴박스는 다양한 구성 및 데이터셋에서 MLC 방법의 공정한 비교 및 평가를 어떻게 지원하는가?
• RQ4 MATLAB/OCTAVE 기반 MLC 구현은 기존의 자바 기반 MLC 라이브러리(Mulan 및 MEKA 등)와 얼마나 상호 운용 가능한가?
• RQ5 MLC 연구를 위한 MATLAB/OCTAVE 네이티브 프레임워크 사용과 자바 기반 라이브러리 사용 간의 성능 및 사용성의 상충 관계는 어떠한가?

주요 결과

• MLC 툴박스는 Binary Relevance, Classifier Chains, Label Combination, 메타러닝 기반 방법 등 다양한 MLC 방법을 지원하는 MATLAB/OCTAVE 라이브러리 중 최초로 등장하였다.
• 사용자는 PCA, CBMLC, rCC 등 다양한 MLC 기법을 임의의 순서로 조합할 수 있어 최적의 방법 조합을 탐색할 수 있는 공간을 크게 확장시켰다.
• 특징 공간 감소, 레이블 공간 감소, 군집화, 임계값 전략, 딥러닝 기반 접근법을 포함한 15개 이상의 MLC 방법 카테고리 지원.
• MEX 함수를 통한 LIBLINEAR 및 LIBSVM과의 통합을 통해 대규모 데이터셋에 대한 빠른 계산을 보장한다.
• 운영체제에 종속되지 않으며 오픈소스로 GitHub에 호스팅되어 있으며, 튜토리얼 문서와 사용자 기여를 위한 지원 기능을 제공한다.
• 다양한 기능을 갖추고 있음에도 불구하고, 준지도학습, 증분학습, 누락 레이블 학습을 지원하지 않아 MEKA에 비해 한계가 있다.