[논문 리뷰] Semi-Supervised Learning of Class Balance under Class-Prior Change by Distribution Matching

Marthinus Du Plessis, Masashi Sugiyama|arXiv (Cornell University)|2012. 06. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 27

한 줄 요약

이 논문은 분포 이탈 상황에서 테스트 데이터의 클래스 사전 확률을 추정하기 위한 준지도 학습 방법을 제안한다. 이는 입력 데이터 분포를 훈련 및 테스트 세트 간에 일치시켜 분포 일치 기법을 사용한다. 이 방법은 레이블이 없는 테스트 데이터를 이용해 분류에서의 편향을 정확히 보정할 수 있으며, 분포 이탈 하에서 클래스 비율 추정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In real-world classification problems, the class balance in the training dataset does not necessarily reflect that of the test dataset, which can cause significant estimation bias. If the class ratio of the test dataset is known, instance re-weighting or resampling allows systematical bias correction. However, learning the class ratio of the test dataset is challenging when no labeled data is available from the test domain. In this paper, we propose to estimate the class ratio in the test dataset by matching probability distributions of training and test input data. We demonstrate the utility of the proposed approach through experiments.

연구 동기 및 목표

• 실세계 분류 문제에서 훈련 데이터와 테스트 데이터의 클래스 분포가 다를 때 발생하는 클래스 사전 확률 이탈 문제를 해결하기 위해.
• 레이블이 없는 테스트 데이터 상황에서 테스트 세트의 클래스 비율을 추정하기 위해, 실용적 응용에서 흔한 상황이다.
• 레이블이 없는 테스트 데이터를 활용해 클래스 사전 확률 이탈로 인한 추정 편향을 보정하는 준지도 학습 방법을 개발하기 위해.
• 분포 일치 기법을 사용해 테스트 분포의 진짜 클래스 균형을 학습함으로써 모델의 일반화 성능을 향상시키기 위해.

제안 방법

• 이 방법은 훈련 및 테스트 데이터의 입력 분포를 최소한도로 서로 다른 공동 분포 간의 격차를 줄임으로써 분포 일치를 통해 일치시킨다.
• 이를 준지도 학습 문제로 공식화하여, 레이블이 없는 테스트 데이터를 사용해 테스트 클래스 사전 확률을 추정한다.
• 특히, 최대 평균 차이(MMD)를 사용해 특징 분포를 일치시키는 커널 기반 방법을 활용해 분포의 산산이 흩어지는 정도를 측정한다.
• 추정된 클래스 비율에 기반해 훈련 데이터에 재가중치를 적용하여 모델 예측의 편향을 줄인다.
• 분포 일치와 모델 재학습을 번갈아가며 반복적으로 클래스 비율 추정치를 개선한다.
• 레이블이 없는 테스트 데이터와 레이블이 있는 훈련 데이터를 조합해 종단 간(end-to-end)으로 학습하며, 테스트 레이블이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 레이블이 없는 테스트 데이터가 존재할 때, 테스트 분포의 클래스 사전 확률을 정확하게 추정할 수 있는가?
• RQ2 레이블이 없는 테스트 데이터를 어떻게 활용해 지도 학습에서 클래스 사전 확률 이탈을 보정할 수 있는가?
• RQ3 기본 기법 대비 분포 일치가 클래스 비율 추정 성능에 얼마나 기여하는가?
• RQ4 제안된 방법이 클래스 사전 확률 이탈 상황에서 하류 분류 작업의 일반화 성능 향상과 편향 감소에 기여하는가?

주요 결과

• 기본 기법 대비 벤치마크 데이터셋에서 클래스 사전 확률 이탈 상황에서 제안된 방법이 훨씬 더 정확한 클래스 비율 추정 성능을 달성한다.
• 레이블이 없는 테스트 데이터만으로도 분포 이탈을 효과적으로 보정함으로써 하류 분류기의 예측 편향을 줄인다.
• 실험 결과에 따르면 MMD를 통한 분포 일치 기법이 다양한 데이터셋과 이탈 시나리오에서 안정적이고 일관된 성능을 보인다.
• 기존 준지도 학습 방법보다도 알려지지 않은 테스트 분포 이탈 상황에서 클래스 사전 확률 추정에서 더 뛰어난 성능을 보인다.
• 다양한 정도의 클래스 사전 확률 이탈에 대해 강건하며, 이탈이 심할 경우에도 높은 정확도를 유지한다.
• 레이블이 없는 테스트 데이터를 활용함으로써 테스트 레이블에 접근할 필요 없이 신뢰할 수 있는 편향 보정이 가능해져 실세계 적용에 실용적이다.