[논문 리뷰] Multi-Complementary and Unlabeled Learning for Arbitrary Losses and Models

Yuzhou Cao, Shuqi Liu외 1명|arXiv (Cornell University)|2020. 01. 13.

Machine Learning and Data Classification참고 문헌 33인용 수 7

한 줄 요약

이 논문은 임의의 손실 함수와 모델에 대해 보다 편향 없는 리스크 추정을 가능하게 하는 새로운 다중보완 및 레이블 없음 학습(MCUL) 프레임워크를 제안한다. 이는 임의의 수의 보완 레이블과 레이블 없음 데이터를 사용할 수 있도록 한다. 이 방법은 추정 오차에서 최적의 파rametric 수렴 속도를 달성하며, 여러 데이터셋에서 선형 모델과 딥 뉴럴 네트워크 모두에서 최신 기술을 초월한다.

ABSTRACT

A weakly-supervised learning framework named as complementary-label learning has been proposed recently, where each sample is equipped with a single complementary label that denotes one of the classes the sample does not belong to. However, the existing complementary-label learning methods cannot learn from the easily accessible unlabeled samples and samples with multiple complementary labels, which are more informative. In this paper, to remove these limitations, we propose the novel multi-complementary and unlabeled learning framework that allows unbiased estimation of classification risk from samples with any number of complementary labels and unlabeled samples, for arbitrary loss functions and models. We first give an unbiased estimator of the classification risk from samples with multiple complementary labels, and then further improve the estimator by incorporating unlabeled samples into the risk formulation. The estimation error bounds show that the proposed methods are in the optimal parametric convergence rate. Finally, the experiments on both linear and deep models show the effectiveness of our methods.

연구 동기 및 목표

• 기존의 보완 레이블 학습(CLl) 방법이 레이블 없음 샘플이나 다중 보완 레이블을 가진 샘플을 활용할 수 없는 한계를 해결하기 위해.
• 약한 감독 하에 임의의 손실 함수와 모델을 위한 통합된 프레임워크를 개발하기 위해.
• 임의의 수의 보완 레이블을 가진 샘플과 레이블 없음 데이터로부터 편향 없는 리스크 추정을 가능하게 하기 위해.
• 제안된 리스크 추정기의 최적의 파arametric 수렴 속도를 이론적으로 확립하기 위해.

제안 방법

• 데이터 분포에 대한 약한 가정을 두고 다중보완 레이블 학습(MCL)을 위한 새로운 편향 없는 리스크 추정기 제안.
• 리스크 제약 조건을 수정하여 레이블 없음 데이터 기여도를 포함함으로써 MCL 프레임워크를 레이블 없음 샘플 통합으로 확장.
• 모델이나 손실 함수에 관계없이 독립적인 최적의 파arametric 수렴 속도를 달성하는 추정 오차 한계 유도.
• 클래스 사전 확률 통합을 통해 사전 정보가 가용할 경우 성능을 추가로 향상.
• 선형 모델과 딥 뉴럴 네트워크 모델 모두에 프레임워크 적용하여 아키텍처 간 일반화 성능 입증.
• 진짜 레이블이 없는 것을 고려한 수정된 리스크 추정기를 사용한 경험 리스크 최소화(ERM) 적용.

실험 결과

연구 질문

• RQ1 다중 보완 레이블만을 사용하여 임의의 손실 함수와 모델에 대해 편향 없는 리스크 추정이 가능할 수 있는가?
• RQ2 레이블 없음 데이터는 보완 레이블 학습에 어떻게 효과적으로 통합될 수 있으며, 일반화 성능 향상에 기여하는가?
• RQ3 약한 감독 하에 제안된 프레임워크는 추정 오차에서 최적의 수렴 속도를 유지하는가?
• RQ4 이 프레임워크는 선형 모델과 딥 뉴럴 네트워크 모두에 일반화 가능한가?
• RQ5 약한 감독 하에 클래스 사전 정보 통합이 모델 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 MCL 프레임워크는 모든 데이터셋에서 베이스라인 방법보다 뚜렷이 뛰어나며, 특히 EMNIST-balanced와 LETTER와 같은 고클래스 설정에서 두드러진 성능을 보였다.
• 레이블 없음 데이터의 비율이 높을수록 MCUL은 베이스라인보다 뛰어난 성능을 달성하여, 레이블 없음 데이터 통합의 이점을 입증했다.
• SVHN 데이터셋에서 MCUL은 20%의 보완 레이블 데이터를 사용해 테스트 정확도 83.27 ± 0.55%를 달성했으며, 다른 방법들을 능가했다.
• 클래스 사전 정보가 가용할 경우, MCUL cl은 SATIMAGE에서 54.23 ± 6.14%의 정확도를 기록했으며, MCUL 대비 22.9% 향상된 성능을 보였다.
• MCL 및 MCUL의 추정 오차 한계는 모두 최적의 파arametric 수렴 속도를 보이며, 이론적 안정성을 확인했다.
• 이 프레임워크는 일반 분류와 표준 CLL를 특수 케이스로 포함하여 그 일반성과 종합성을 입증했다.