[논문 리뷰] Multilabel Classification with R Package mlr

Philipp Probst, Quay Au외 3명|arXiv (Cornell University)|2017. 03. 27.

Text and Document Classification Technologies참고 문헌 32인용 수 7

한 줄 요약

이 논문은 R 패키지 mlr 내에서 다중 레이블 분류 알고리즘을 구현하여 문제 변환 방법—이진 관련성, 분류기 체인, 내재 스태킹, 종속적 이진 관련성, 스태킹—과 알고리즘 적응 방법인 randomForestSRC 및 rFerns를 표준화된 방식으로 사용할 수 있도록 한다. 벤치마크 결과, 종속적 이진 관련성은 F1 점수에서, 분류기 체인은 서브셋 0/1 손실에서 각각 최고 성능을 보였으며, mlr 프레임워크 내에서 높은 재현성과 확장성 확보를 확인하였다.

ABSTRACT

We implemented several multilabel classification algorithms in the machine learning package mlr. The implemented methods are binary relevance, classifier chains, nested stacking, dependent binary relevance and stacking, which can be used with any base learner that is accessible in mlr. Moreover, there is access to the multilabel classification versions of randomForestSRC and rFerns. All these methods can be easily compared by different implemented multilabel performance measures and resampling methods in the standardized mlr framework. In a benchmark experiment with several multilabel datasets, the performance of the different methods is evaluated.

연구 동기 및 목표

• mlr 프레임워크를 사용하여 R에서 다중 레이블 분류를 위한 통합적이고 표준화된 인터페이스를 제공하기 위해.
• 문제 변환 및 알고리즘 적응 방법을 포함한 다양한 다중 레이블 분류 알고리즘을 구현하고 통합하기 위해.
• 다양한 다중 레이블 데이터셋에서 일관된 성능 측정 및 재표본 추출 기법을 사용하여 방법 간 비교를 가능하게 하기 위해.
• 다양한 다중 레이블 학습기들을 공통 인터페이스로 지원하는 종합적인 R 패키지의 부족을 보완하기 위해.
• 표준 평가 메트릭을 기반으로 한 방법 간 성능 벤치마크를 수행하고, 최고 성능을 보이는 접근 방식을 규명하기 위해.

제안 방법

• 문제 변환 방법을 사용하여 mlr에서 접근 가능한 기본 학습기들을 활용해 다중 레이블 문제를 이진 또는 다중 클래스 문제로 변환한다.
• 이진 관련성은 각 레이블에 대해 독립적으로 하나의 이진 분류기 학습; 분류기 체인은 이전 레이블을 특성으로 포함하는 이진 분류기의 체인을 학습한다.
• 내재 스태킹과 스태킹은 메타-학습기를 사용해 기본 모델의 예측을 조합하여 일반화 성능을 향상시킨다.
• 종속적 이진 관련성은 레이블 순서의 순열을 통해 레이블 간 종속성을 모델링함으로써 이진 관련성의 확장이다.
• randomForestSRC 및 rFerns와 같은 알고리즘 적응 방법은 직접 통합되어 변환 없이 다중 레이블 학습이 가능하다.
• 모든 방법은 mlr 프레임워크 내에서 표준화된 성능 측정(예: 허밍 손실, F1, 서브셋 0/1 손실) 및 재표본 추출 기법을 사용해 평가된다.

Figure 1: Results for hamming loss and F 1 -index. The best performing algorithms are highlighted on the plot.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 F1 점수와 허밍 손실 측면에서 어떤 다중 레이블 분류 방법이 가장 우수한 성능을 보이는가?
• RQ2 분류기 체인과 내재 스태킹과 같은 문제 변환 방법은 randomForestSRC 및 rFerns와 같은 알고리즘 적응 방법과 비교해 어떻게 성능을 내는가?
• RQ3 레이블 간 종속성 모델링은 성능에 어떤 영향을 미치는가? 종속적 이진 관련성과 표준 이진 관련성의 비교를 통해 확인한다.
• RQ4 기본 학습기의 선택은 mlr 프레임워크 내에서 다중 레이블 분류 방법의 성능에 어떤 영향을 미치는가?
• RQ5 mlr 프레임워크는 표준화된 평가를 기반으로 한 효율적이고 확장 가능하며 재현 가능한 다중 레이블 분류 워크플로우를 지원할 수 있는가?

주요 결과

• 종속적 이진 관련성은 여러 데이터셋에서 F1 점수와 정확도 지표에서 최고 성능을 기록하여 강력한 레이블 종속성 모델링 능력을 입증하였다.
• 대부분의 경우 분류기 체인은 서브셋 0/1 손실 지표에서 다른 방법들을 압도하여 전체 레이블 세트 예측의 정확도가 뛰어나다는 것을 입증하였다.
• 최고 성능을 보인 방법(STA(rf))의 허밍 손실은 birds 데이터셋에서 0.0429였고, rFerns가 slashdot에서 0.4925로 가장 낮은 성능을 보이며 방법 간 성능 격차가 뚜렷하다.
• rFerns는 레이블 순서에 관계없이 무작위 변수 선택 메커니즘으로 인해 일관되게 열악한 성능을 보였으며, birds에서 허밍 손실 0.4148, slashdot에서 0.4925를 기록하였다.
• randomForestSRC는 genbase와 langLog에서 강력한 성능을 보였으며, 각각 허밍 손실 0.0006과 0.0466을 기록하여 저차원, 희소 레이블 세트에서의 강인함을 입증하였다.
• 벤치마크 결과, 일부 알고리즘이 교차 검증 중에 희귀 레이블 처리에 문제가 발생해 충돌하는 경우가 있었으며, 향후 mlr 확장에서 희귀 레이블에 대한 개선된 처리가 필요함을 시사하였다.

Figure 2: Results for the remaining measures.