[논문 리뷰] Multi-Label Classification Methods for Multi-Target Regression

Eleftherios Spyromitros-Xioufis, William Groves외 2명|arXiv (Cornell University)|2012. 11. 28.

Text and Document Classification Technologies인용 수 67

한 줄 요약

이 논문은 다중 타겟 회귀 기법에서 영감을 얻어 두 가지 새로운 다중 타겟 회귀 알고리즘—다중 타겟 스태킹(MTS)과 회귀 사슬 앙상블(ERC)—을 제안한다. 기존의 분해 기반 다중 타겟 회귀 방법에서 추가 입력 변수를 구성하는 데에 발생하는 결함을 밝혀내고, 이를 보완한 개선된 변형(MTSC 및 ERCC)을 도입하며, 12개의 데이터셋에서의 실험을 통해 ERCC가 강력한 기준 모델들, 특히 다중 목표 랜덤 포레스트를 크게 능가함을 보여준다.

ABSTRACT

Real world prediction problems often involve the simultaneous prediction of multiple target variables using the same set of predictive variables. When the target variables are binary, the prediction task is called multi-label classification while when the target variables are real-valued the task is called multi-target regression. Although multi-target regression attracted the attention of the research community prior to multi-label classification, the recent advances in this field motivate a study of whether newer state-of-the-art algorithms developed for multi-label classification are applicable and equally successful in the domain of multi-target regression. In this paper we introduce two new multi-target regression algorithms: multi-target stacking (MTS) and ensemble of regressor chains (ERC), inspired by two popular multi-label classification approaches that are based on a single-target decomposition of the multi-target problem and the idea of treating the other prediction targets as additional input variables that augment the input space. Furthermore, we detect an important shortcoming on both methods related to the methodology used to create the additional input variables and develop modified versions of the algorithms (MTSC and ERCC) to tackle it. All methods are empirically evaluated on 12 real-world multi-target regression datasets, 8 of which are first introduced in this paper and are made publicly available for future benchmarks. The experimental results show that ERCC performs significantly better than both a strong baseline that learns a single model for each target using bagging of regression trees and the state-of-the-art multi-objective random forest approach. Also, the proposed modification results in significant performance gains for both MTS and ERC.

연구 동기 및 목표

• 최근의 다중 레이블 분류 기법이 다중 타겟 회귀에 어떻게 적용될 수 있는지 조사하기 위해.
• 기존의 분해 기반 다중 타겟 회귀 방법에서 추가 입력 변수를 구성하는 데에 발생하는 핵심 결함을 해결하기 위해.
• 이 결함을 수정하고 예측 성능를 향상시키기 위해 MTS와 ERC의 개선된 버전을 개발하기 위해.
• 12개의 실세계 다중 타겟 회귀 데이터셋(중 8개는 새로 도입되고 공개된)을 포함한 종합적인 벤치마크에서 제안된 방법을 평가하기 위해.
• 재현 가능한 벤치마크와 최신 기술 수준의 성능 결과를 제공하여 향후 연구에 대한 강력한 경험적 기반을 마련하기 위해.

제안 방법

• 다중 레이블 분류 기법인 회귀 사슬을 다중 타겟 회귀에 적용하기 위해, 순차적 예측 프레임워크에서 다른 타겟 변수들을 입력 특성으로 간주한다.
• 회귀 사슬에 앙상블 학습을 적용하기 위해, 타겟 순서를 무작위로 섞은 여러 개의 사슬을 훈련하고 예측을 통합하여 안정성을 높인다.
• 다양한 타겟 조합에 대해 훈련된 여러 기반 회귀 모델의 예측을 결합하는 메타 앙상블 방법으로 다중 타겟 스태킹(MTS)을 도입한다.
• 추가 입력 변수의 구성 방식을 재정의함으로써 정보 泄露를 방지하고 일반화 성능를 향상시키기 위해, MTS와 ERC의 수정된 버전(MTSC 및 ERCC)을 제안한다.
• 비교를 위해 백킹된 회귀 트리의 강력한 기준 모델을 사용하며, 최신 기술 수준의 다중 목표 랜덤 포레스트도 벤치마크로 포함한다.
• 각 타겟을 번갈아가며 예측하는 단일 타겟 분해 전략을 사용하며, 다른 모든 타겟을 사용해 상호의존성을 모델링하기 위해 입력 특성으로 활용한다.

실험 결과

연구 질문

• RQ1 최신 기술 수준의 다중 레이블 분류 알고리즘이 다중 타겟 회귀 설정에 성공적으로 적용될 수 있는가?
• RQ2 추가 입력 변수를 구성하는 방법론이 분해 기반 다중 타겟 회귀 모델의 성능에 어떤 영향을 미치는가?
• RQ3 입력 구성 결함을 수정한 MTS와 ERC의 수정된 버전이 성능 향상에 기여하는가?
• RQ4 제안된 방법들이 실세계 데이터셋에서 백킹된 회귀 트리나 다중 목표 랜덤 포레스트와 같은 강력한 기준 모델보다 어떻게 비교되는가?
• RQ5 새로 도입된 데이터셋들이 향후 다중 타겟 회귀 연구의 벤치마크로 적합한가?

주요 결과

• 제안된 ERCC 알고리즘은 평가된 12개의 데이터셋 전반에서 백킹된 회귀 트리 기준 모델과 최신 기술 수준의 다중 목표 랜덤 포레스트를 모두 크게 능가한다.
• 기존 ERC 대비 ERCC는 상당한 성능 향상을 달성하여, 입력 변수 구성 방법론을 수정하는 것이 중요하다는 것을 입증한다.
• 원래 MTS 대비 MTSC는 상당한 성능 향상을 보이며, 입력 변수 구성의 결함이 모델 성능에 악영향을 미친다는 것을 확인한다.
• 8개의 새로운 실세계 다중 타겟 회귀 데이터셋 도입은 향후 연구에 있어 귀중한 벤치마크와 재현 가능성을 제공한다.
• 실증 결과는 증강된 입력 공간을 통해 타겟 간 상호의존성을 모델링하는 것이 독립적인 타겟 모델링보다 더 뛰어난 예측 성능을 이끌어낸다는 것을 확인한다.
• 적절한 입력 구성 방식을 적용한 회귀 사슬 앙상블(ERC) 방식(즉, ERCC)은 모든 평가된 알고리즘 중에서 예측 정확도와 안정성 측면에서 가장 효과적인 방법이다.