[논문 리뷰] A scikit-based Python environment for performing multi-label classification

Piotr Szymański, Tomasz Kajdanowicz|arXiv (Cornell University)|2017. 02. 05.

Text and Document Classification Technologies참고 문헌 21인용 수 118

한 줄 요약

scikit-multilearn은 고급 다중 라벨 분류 알고리즘, 라벨 공간 분할 및 임베딩 방법으로 scikit-learn을 확장하는 BSD-라이선스 Python 라이브러리로, 희소 표현의 효율성과 Python 데이터 과학 스택과의 통합을 목표로 한다.

ABSTRACT

scikit-multilearn is a Python library for performing multi-label classification. The library is compatible with the scikit/scipy ecosystem and uses sparse matrices for all internal operations. It provides native Python implementations of popular multi-label classification methods alongside a novel framework for label space partitioning and division. It includes modern algorithm adaptation methods, network-based label space division approaches, which extracts label dependency information and multi-label embedding classifiers. It provides python wrapped access to the extensive multi-label method stack from Java libraries and makes it possible to extend deep learning single-label methods for multi-label tasks. The library allows multi-label stratification and data set management. The implementation is more efficient in problem transformation than other established libraries, has good test coverage and follows PEP8. Source code and documentation can be downloaded from http://scikit.ml and also via pip. The library follows BSD licensing scheme.

연구 동기 및 목표

• 희소 행렬 위에 구축된 빠르고 확장 가능한 다중 라벨 분류용 Python 라이브러리를 제공한다.
• 고급 알고리즘 적응 및 문제 변환 방법으로 scikit-learn을 확장한다.
• 다중 라벨 작업을 위한 라벨 공간 분할 및 라벨 임베딩 접근법을 도입한다.
• 더 넓은 방법 접근성을 위해 MEKA/MULAN/WEKA Java 스택에 대한 Python 래퍼를 제공한다.
• Python 데이터 과학 스택 및 BSD 라이선스와의 호환성을 보장한다.

제안 방법

• scikit-learn 스타일 API 내에서 알고리즘 적응 및 문제 변환을 포함한 다중 라벨 알고리즘을 구현한다.
• 클러스터링, 라벨 동시 발생 그래프, 무작위 분할 및 전문가 정의 분할을 사용한 라벨 공간 분할 프레임워크를 개발한다.
• CLEMS 및 LNEMLC와 같은 다중 라벨 임베딩 방법과 매니폴드 학습용 일반 임베더를 제공한다.
• 라이선스 충돌 없이 Python 사용자를 위해 Java 다중 라벨 스택(MEKA, MULAN, WEKA)을 래핑한다.
• 단일 인터페이스를 통해 다중 라벨 작업에 Keras 호환 모델 사용을 가능하게 한다.
• 주로 희소 행렬에서 동작하여 메모리 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 라벨 분류 방법을 scikit-learn 생태계 내에서 어떻게 효율적으로 구현할 수 있을까?
• RQ2 라벨 공간 분할, 임베딩, 그래프 기반 분할 등의 어떤 프레임워크가 Python에서 다중 라벨 문제의 성능을 향상시키나요?
• RQ3 표준 벤치마크에서 속도와 메모리 측면에서 scikit-multilearn과 Java 기반 라이브러리(MEKA, MULAN)을 어떻게 비교되나요?
• RQ4 scikit-multilearn이 Keras 래퍼를 통해 다중 라벨 분류에 딥 러닝 모델을 통합할 수 있나요?
• RQ5 비-Python 스택과의 인터페이스에서 달성 가능한 BSD 라이선스 수준과 API 호환성은 어느 정도인가요?

주요 결과

• Binary Relevance로 라벨 공간 분할을 사용할 때 scikit-multilearn은 여러 데이터셋에서 competing Java 라이브러리보다 더 빠르고 메모리 효율적이다.
• 대상 라벨 공간이 큰 경우 특히 Label Powerset 변환에서 경쟁자보다 종종 더 우수하다.
• 이 라이브러리는 다른 도구들에 비해 희소성 기반(text) 개선을 제공하여 실행 시간과 메모리 프로필이 우수하다.
• 0.1에서 0.2로의 릴리스 일정은 지속적인 개발과 0.2.0에서 82%의 테스트 커버리트로 안정적인 API를 보여준다.
• MEKA/MULAN/WEKA에 대한 래퍼를 제공하고 다중 라벨 작업에 대해 Keras 기반 모델을 지원한다.