[논문 리뷰] Learning from Binary Labels with Instance-Dependent Corruption

Aditya Krishna Menon, Brendan van Rooyen외 1명|arXiv (Cornell University)|2016. 05. 03.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 인스턴스 및 레이블에 의존하는 레이블 노이즈가 있는 이진 분류를 다루며, 노이즈가 있는 분포에서의 일致성 학습이 청소년 분포에서의 일치성을 보장함을 증명한다. 넓은 범위의 노이즈 모델에 대해, 수치적 영역 아래 면적(AUC)의 일치성도 유지됨을 추가로 보여주며, 진짜 클래스 확률 함수가 일반화선형모형(GLM) 가족에 속할 경우 이소트론(Isotron) 알고리즘이 노이즈가 있는 데이터로부터 효율적이고 증명 가능한 학습이 가능하다.

ABSTRACT

Suppose we have a sample of instances paired with binary labels corrupted by arbitrary instance- and label-dependent noise. With sufficiently many such samples, can we optimally classify and rank instances with respect to the noise-free distribution? We provide a theoretical analysis of this question, with three main contributions. First, we prove that for instance-dependent noise, any algorithm that is consistent for classification on the noisy distribution is also consistent on the clean distribution. Second, we prove that for a broad class of instance- and label-dependent noise, a similar consistency result holds for the area under the ROC curve. Third, for the latter noise model, when the noise-free class-probability function belongs to the generalised linear model family, we show that the Isotron can efficiently and provably learn from the corrupted sample

연구 동기 및 목표

• 인스턴스 및 레이블에 의존하는 오염된 데이터에서 일致성 학습이 가능한지, 이로 인해 기저의 청소년 분포에서 최적의 성능을 달성할 수 있는지 여부를 규명하는 것.
• 동일한 노이즈 모델 하에서 수치적 영역 아래 면적(AUC)의 일치성이 유지되는지 여부를 조사하는 것.
• 진짜 클래스 확률 함수가 일반화선형모형(GLM) 가족에 속할 경우, 효율적이고 증명 가능한 학습이 가능한 조건을 규명하는 것.
• 인스턴스에 의존하는 레이블 노이즈 맥락에서 이소트론 알고리즘에 대한 이론적 보장을 수립하는 것.

제안 방법

• 노이즈가 있는 분포에서 일치성 학습을 보장하는 분류 알고리즘이 인스턴스에 의존하는 노이즈 하에서 청소년 분포에서도 일치성 학습을 보장함을 증명하는 것.
• 넓은 범위의 인스턴스 및 레이블에 의존하는 노이즈 모델 하에서 수치적 영역 아래 면적(AUC)의 일치성 결과를 수립하는 것.
• 진짜 클래스 확률 함수가 일반화선형모형 가족에 속할 것이라는 가정 하에서 이소트론 알고리즘을 분석하는 것.
• 이론적 분석을 통해 노이즈 모델이 특정 정규성 조건을 만족할 경우 이소트론이 노이즈가 있는 데이터로부터 진짜 함수를 증명 가능하게 학습할 수 있음을 보여주는 것.
• 노이즈 모델의 구조를 활용하여 청소년 분포와 노이즈가 있는 분포를 연결함으로써 일치성 보장을 가능하게 하는 것.
• 통계학적 학습 이론 및 경험과정 이론의 결과를 활용하여 오염된 데이터 설정 하에서 일반화 한계를 도출하는 것.

실험 결과

연구 질문

• RQ1 인스턴스 및 레이블에 의존하는 오염이 있는 분포에서 일치성 분류가 가능한지, 이로 인해 청소년 분포에서 일치성 분류가 달성되는가?
• RQ2 인스턴스 및 레이블에 의존하는 노이즈 하에서 AUC의 일치성이 노이즈가 있는 분포에서 청소년 분포로 전이되는가?
• RQ3 진짜 함수가 일반화선형모형(GLM) 가족에 속할 경우, 이소트론 알고리즘이 노이즈가 있는 데이터로부터 진짜 클래스 확률 함수를 증명 가능하게 학습할 수 있는 조건은 무엇인가?
• RQ4 인스턴스에 의존하는 노이즈 모델의 구조가 오염된 레이블에서의 학습 가능성에 어떻게 영향을 미치는가?
• RQ5 노이즈가 입력과 진짜 레이블 양쪽에 의존할 경우, 오염된 이진 레이블에서 학습에 대해 어떤 이론적 보장을 설정할 수 있는가?

주요 결과

• 노이즈가 있는 분포에서 일치성 학습을 보장하는 분류 알고리즘은 인스턴스에 의존하는 레이블 노이즈 하에서도 청소년 분포에서 일치성 학습을 보장한다.
• 넓은 범위의 인스턴스 및 레이블에 의존하는 노이즈 모델에 대해, 수치적 영역 아래 면적(AUC)의 일치성이 노이즈가 있는 분포에서 청소년 분포로 유지된다.
• 진짜 클래스 확률 함수가 일반화선형모형(GLM) 가족에 속할 경우, 이소트론 알고리즘은 노이즈가 있는 샘플로부터 효율적이고 증명 가능한 학습이 가능하다.
• 노이즈 모델이 특정 정규성 및 적분 가능성 조건을 만족할 경우, 이소트론의 성능에 대한 이론적 보장이 수립된다.
• 청결한 분포와 노이즈가 있는 분포 사이에 공식적인 연결 고리를 설정함으로써, 노이즈의 구조로부터 일치성 결과를 도출할 수 있다.
• 결과적으로 인스턴스에 의존하는 노이즈가 있어도 일치성 학습이 가능함을 보여주며, 이는 노이즈가 입력과 진짜 레이블 모두에 의존할 경우에도 마찬가지로 성립한다.