[논문 리뷰] Drawing Parallels between Multi-Label Classification and Multi-Target Regression

Eleftherios Spyromitros-Xioufis, William Groves외 2명|arXiv (Cornell University)|2012. 11. 28.

Text and Document Classification Technologies인용 수 1

한 줄 요약

이 논문은 다중 타겟 회귀 설정에 성공적으로 적용된 두 가지 다중 레이블 분류 기법—Stacked Single-Target 및 Regressor Chains의 앙상블—을 적응시켜, 타겟 변수 추정치에서 발생하는 핵심적인 학습-예측 불일치 문제를 해결한다. 이 불일치 문제를 외부 샘플 추정치를 통해 완화함으로써, 제안된 방법들은 다양한 데이터셋에서 독립적 회귀 및 최신 기술 수준의 다중 작업 학습 접근법보다 유의미하게 뛰어난 성능을 보인다.

ABSTRACT

In many practical applications of supervised learning the task involves the prediction of multiple target variables from a common set of input variables. When the prediction targets are binary the task is called multi-label classification, while when the targets are continuous the task is called multi-target regression. In both tasks, target variables often exhibit statistical dependencies and exploiting them in order to improve predictive accuracy is a core challenge. A family of multi-label classification methods address this challenge by building a separate model for each target on an expanded input space where other targets are treated as additional input variables. Despite the success of these methods in the multi-label classification domain, their applicability and effectiveness in multi-target regression has not been studied until now. In this paper, we introduce two new methods for multi-target regression, called Stacked Single-Target and Ensemble of Regressor Chains, by adapting two popular multi-label classification methods of this family. Furthermore, we highlight an inherent problem of these methods - a discrepancy of the values of the additional input variables between training and prediction - and develop extensions that use out-of-sample estimates of the target variables during training in order to tackle this problem. The results of an extensive experimental evaluation carried out on a large and diverse collection of datasets show that, when the discrepancy is appropriately mitigated, the proposed methods attain consistent improvements over the independent regressions baseline. Moreover, two versions of Ensemble of Regression Chains perform significantly better than four state-of-the-art methods including regularization-based multi-task learning methods and a multi-objective random forest approach.

연구 동기 및 목표

• 성공적인 다중 레이블 분류 기법을 다중 타겟 회귀 설정으로 확장하는 것.
• 이러한 기법들에서 학습 단계와 예측 단계 사이의 타겟 변수 값 간 내재된 불일치 문제를 해결하는 것.
• 다양한 연속적인 타겟 간 통계적 의존성을 활용하는 개선된 회귀 모델을 개발하는 것.
• 제안된 방법의 효과성을 독립적 회귀 및 최신 기술 수준의 다중 작업 학습 접근법과 비교하여 평가하는 것.

제안 방법

• 기존의 다중 레이블 분류에서 Stacked Single-Target 기법을 다중 타겟 회귀에 적응시키기 위해, 타겟 변수를 입력 특성으로 포함한 확장된 입력 공간에서 각 타겟에 대해 별도의 회귀 모델을 학습한다.
• Regressor Chains의 앙상블 기법을 적응시키기 위해, 타겟 순서를 무작위로 설정한 여러 회귀 모델 체인을 학습하여 타겟 간 상호의존성을 포착한다.
• 학습 및 예측 단계 간의 불일치 문제를 해결하기 위해, 학습 중에 타겟 변수의 외부 샘플 추정치를 사용하는 새로운 학습 절차를 도입한다.
• 교차 검증 기반 추정을 통해 학습 중 입력 특성으로 사용되는 타겟 변수에 대한 신뢰할 수 있는 외부 샘플 예측치를 생성한다.
• Regressor Chains 기반 접근법에서 다수의 체인에 대한 앙상블 평균을 적용하여 정규화 및 예측 정확도를 향상시킨다.
• 스태킹 및 앙상블 프레임워크 내에서 표준 회귀 모델(예: 선형 모델, 랜덤 포레스트)을 기본 학습기로 사용한다.

실험 결과

연구 질문

• RQ1 기존의 다중 레이블 분류 기법들이 다중 타겟 회귀 작업에 효과적으로 적응될 수 있는가?
• RQ2 학습 및 예측 단계에서 타겟 값 간 불일치가 이러한 적응된 기법의 성능에 미치는 영향은 어떠한가?
• RQ3 학습 중 타겟 변수의 외부 샘플 추정치를 사용하면 이 불일치로 인한 성능 저하를 완화할 수 있는가?
• RQ4 제안된 방법들이 독립적 회귀 및 기존의 최신 기술 수준의 다중 작업 학습 기법보다 유의미한 향상을 이룰 수 있는가?

주요 결과

• 학습-예측 불일치 문제가 적절히 해결된 경우, 제안된 Stacked Single-Target 및 Regressor Chains 앙상블 방법은 독립적 회귀 기준 모델보다 예측 정확도를 일관되게 향상시킨다.
• Regressor Chains 앙상블의 두 가지 변형은 정규화 기반 다중 작업 학습 및 다중 목표 랜덤 포레스트 접근법을 포함한 네 가지 최신 기술 수준의 방법보다 뚜렷이 뛰어난 성능을 보인다.
• 학습 중 외부 샘플 추정치를 사용하는 것은 불일치 문제를 효과적으로 해결하며, 성능 향상 달성에 필수적이다.
• 성능 향상은 크고 다양한 데이터셋 전반에 걸쳐 관찰되어, 광범위한 적용 가능성과 강건성을 시사한다.
• 다중 레이블 분류에서 다중 타겟 회귀로의 방법론적 적응은 효과적이며 이식 가능하며, 강력한 경험적 검증을 통과했다.
• 결과는 구조적 입력 확장을 통해 타겟 간 의존성을 모델링할 경우 다중 타겟 회귀에서 의미 있는 성능 향상이 달성된다는 것을 보여준다.