[논문 리뷰] Classifier Ensemble with Unlabeled Data

Min-Ling Zhang, Zhi‐Hua Zhou|arXiv (Cornell University)|2009. 09. 19.

Machine Learning and Data Classification인용 수 3

한 줄 요약

이 논문은 가짜 레이블에 의존하지 않고, 라벨이 붙은 데이터에서의 정확도와 라벨이 붙지 않은 데이터까지 포함한 다각도적 다양성에 동시에 최적화함으로써 기본 학습기 간의 다양성을 향상시키는, 준지도 학습 앙상블 방법인 Sealed을 제안한다. 실험 결과, Sealed는 라벨이 붙지 않은 데이터를 효과적으로 활용하며 기존의 잘 알려진 준지도 학습 앙상블 방법들과 경쟁 가능한 성능을 보인다.

ABSTRACT

Ensemble learning aims to improve generalization ability by using multiple base learners. It is well-known that to construct a good ensemble, the base learners should be accurate as well as diverse. In this paper, unlabeled data is exploited to facilitate ensemble learning by helping augment the diversity among the base learners. Specifically, a semi-supervised ensemble method named Sealed is proposed. Unlike existing semi-supervised ensemble methods where error-prone pseudo-labels are estimated for unlabeled data, Sealed works by maximizing accuracies of base learners on labeled data and maximizing diversity among them on labeled as well as unlabeled data. Experiments show that Sealed can effectively utilize unlabeled data for ensemble learning and is highly competitive to wellestablished semi-supervised ensemble methods. 1

연구 동기 및 목표

• 기본 학습기 간의 다양성을 증가시킴으로써 앙상블 일반화 성능을 향상시키기.
• 가짜 레이블이 정확도에 영향을 미칠 수 있는 잠재적 오류에 의존하지 않고도 라벨이 붙지 않은 데이터를 준지도 학습 앙상블 학습에서 효과적으로 활용하기.
• 라벨이 붙은 데이터에서의 기본 학습기 정확도와 라벨이 붙은 데이터 및 라벨이 붙지 않은 데이터에서의 다양성에 동시에 최적화하는 방법 개발하기.
• 기존 준지도 학습 앙상블 방법들보다 정확도와 강건성 측면에서 뛰어난 성능을 내기.

제안 방법

• Sealed는 라벨이 붙은 데이터에서 기본 학습기의 정확도를 극대화하는 최적화 목표를 수립한다.
• 다양성 측정 시 라벨이 붙은 데이터와 라벨이 붙지 않은 데이터를 모두 고려함으로써 기본 학습기 간의 다양성을 향상시킨다.
• 라벨이 붙지 않은 데이터에 대해 가짜 레이블을 추정하지 않음으로써 오류 전파 위험을 줄인다.
• 라벨이 붙은 데이터와 라벨이 붙지 않은 데이터 양쪽에서 정확도와 다양성의 균형을 맞추는 공동 최적화 프레임워크를 사용한다.
• 다양한 기본 학습기와 앙상블 전략과의 호환성을 고려하여 설계되었다.

실험 결과

연구 질문

• RQ1 가짜 레이블에 의존하지 않고도 라벨이 붙지 않은 데이터를 효과적으로 활용하여 앙상블 학습에서 다양성을 향상시킬 수 있는가?
• RQ2 라벨이 붙은 데이터와 라벨이 붙지 않은 데이터에서 정확도와 다양성에 동시에 최적화하는 것이 앙상블 성능에 어떤 영향을 미치는가?
• RQ3 가짜 레이블을 사용하는 기존 준지도 학습 앙상블 방법들보다 Sealed가 성능에서 뛰어나게 되는가?
• RQ4 라벨이 붙지 않은 데이터를 통합함으로써 앙상블 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• Sealed는 가짜 레이블 없이도 라벨이 붙지 않은 데이터를 효과적으로 활용하여 앙상블 성능을 향상시킨다.
• 잘 알려진 준지도 학습 앙상블 방법들과 비교해도 경쟁 가능한 성능을 달성한다.
• 라벨이 붙은 데이터와 라벨이 붙지 않은 데이터에서 다양성을 극대화함으로써 Sealed는 앙상블의 강건성을 향상시킨다.
• 가짜 레이블 생성의 부재로 오류 전파가 줄어들어 더 신뢰할 수 있는 모델 학습에 기여한다.