[논문 리뷰] On the Minimal Supervision for Training Any Binary Classifier from Only Unlabeled Data

Nan Lu, Gang Niu외 2명|arXiv (Cornell University)|2018. 08. 31.

Machine Learning and Data Classification인용 수 38

한 줄 요약

이 논문은 두 개의 클래스 사전 확률이 다른 비라벨 데이터셋을 활용하여, 선형부터 딥 네트워크에 이르기까지 임의의 이진 분류기의 라벨 없이도 훈련할 수 있는 새로운 ERM 기반 방법을 제안한다. 이 방법은 이론적으로 일致성(consistency)을 증명하였고, 두 비라벨 세트에서 학습하는 데 있어 최신 기법들을 능가하는 성능을 경험적으로 입증하였다.

ABSTRACT

Empirical risk minimization (ERM), with proper loss function and regularization, is the common practice of supervised classification. In this paper, we study training arbitrary (from linear to deep) binary classifier from only unlabeled (U) data by ERM. We prove that it is impossible to estimate the risk of an arbitrary binary classifier in an unbiased manner given a single set of U data, but it becomes possible given two sets of U data with different class priors. These two facts answer a fundamental question---what the minimal supervision is for training any binary classifier from only U data. Following these findings, we propose an ERM-based learning method from two sets of U data, and then prove it is consistent. Experiments demonstrate the proposed method could train deep models and outperform state-of-the-art methods for learning from two sets of U data.

연구 동기 및 목표

• 라벨 없이도 임의의 이진 분류기를 훈련하기 위해 필요한 최소한의 감독 정보를 규명하는 것.
• 단일 비라벨 데이터셋으로부터의 비편향 리스크 추정이 가능한지 조사하는 것.
• 서로 다른 클래스 분포를 가진 두 개의 비라벨 데이터셋을 기반으로 한 경험 리스크 최소화 기반의 일致성 있는 학습 방법을 개발하는 것.
• 최소한의 감독 정보 하에 라벨 없이도 딥 모델을 훈련할 수 있는 가능성과 효율성을 입증하는 것.

제안 방법

• 두 개의 별도된 비라벨 데이터셋을 사용하며, 각각 다른 클래스 사전 확률 분포를 가짐으로써 비편향 경험 리스크 추정을 가능하게 한다.
• 두 비라벨 세트 간의 클래스 사전 확률 차이를 고려한 수정된 경험 리스크 최소화 목적함수를 수립한다.
• 표준 정규화 및 손실 함수를 적용하지만, 이들을 이중 데이터셋 설정에 맞게 조정하여 일치성을 확보한다.
• 이론적 분석을 통해, 데이터 크기가 증가함에 따라 학습된 분류기가 최적의 해로 수렴함을 보여주는 일치성 조건을 증명한다.
• 표준 최적화 기법을 활용함으로써, 깊이 있는 신경망을 포함한 임의의 모델과 호환 가능하다.
• 라벨 데이터를 전혀 필요로 하지 않으며, 오직 두 비라벨 세트 간의 클래스 사전 확률의 통계적 차이에 의존한다.

실험 결과

연구 질문

• RQ1 단일 비라벨 데이터셋만으로도 임의의 이진 분류기의 리스크를 비편향 방식으로 추정할 수 있는가?
• RQ2 라벨 없이도 이진 분류기를 훈련하기 위한 일치성 있는 학습 방법을 설계할 수 있으며, 만약 가능하다면 필요한 최소한의 감독 정보는 무엇인가?
• RQ3 서로 다른 클래스 사전 확률를 가진 두 개의 비라벨 데이터셋을 사용하면, 라벨 없이도 깊이 있는 모델을 효과적으로 훈련시킬 수 있는가?
• RQ4 기존의 최신 기법들과 비교했을 때, 제안된 방법의 성능 및 일반화 능력은 어떠한가?

주요 결과

• 단일 비라벨 데이터셋만으로는 임의의 이진 분류기의 리스크를 비편향 방식으로 추정하는 것은 이론적으로 불가능하다.
• 서로 다른 클래스 사전 확률를 가진 두 개의 비라벨 데이터셋이 존재할 경우, 비편향 리스크 추정이 가능해진다.
• 표준 가정 하에 제안된 ERM 기반 방법은 증명 가능하게 일치성이 보장되어 최적의 분류기로 수렴함을 보장한다.
• 실험 결과, 이 방법은 깊이 있는 모델을 성공적으로 훈련시키며, 두 비라벨 세트에서 학습하는 데 있어 최신 기법들을 능가하는 성능을 달성한다.
• 이 방법은 라벨 예제가 전혀 없이도 두 데이터셋 간의 클래스 사전 확률의 통계적 차이에 의존하여 강력한 일반화 능력을 보여준다.