[논문 리뷰] Learning from Multiple Corrupted Sources, with Application to Learning from Label Proportions

Clayton Scott, Jianxin Zhang|arXiv (Cornell University)|2019. 10. 10.

Machine Learning and Data Classification참고 문헌 30인용 수 5

한 줄 요약

이 논문은 표본 수와 레이블 오염 수준이 다른 다수의 이元 분류 데이터셋에서 학습하기 위해 오염 보정된 경험적 위험의 가중 조합을 제안한다. 표본 크기와 오염 정도를 기반으로 가중치를 최적화함으로써, 알려진 바 중 가장 날카운 generalization 오차 경계를 달성하고, 레이블 비율 학습(LLP)에 대해 가장 일반적인 통계적 일致성 보장을 제공한다.

ABSTRACT

We study binary classification in the setting where the learner is presented with multiple corrupted training samples, with possibly different sample sizes and degrees of corruption, and introduce an approach based on minimizing a weighted combination of corruption-corrected empirical risks. We establish a generalization error bound, and further show that the bound is optimized when the weights are certain interpretable and intuitive functions of the sample sizes and degrees of corruptions. We then apply this setting to the problem of learning with label proportions (LLP), and propose an algorithm that enjoys the most general statistical performance guarantees known for LLP. Experiments demonstrate the utility of our theory.

연구 동기 및 목표

• 표본 수와 오염 수준가 다른 독립적으로 오염된 이원 분류 데이터셋의 조합에서 학습하는 문제에 대응한다.
• 단일 소스의 레이블 노이즈 보정과 레이블 비율 학습(LLP)을 모두 일반화하는 통합 프레임워크를 개발한다.
• 다수의 오염된 소스에 기반한 커널 기반 예측기의 분포 자유 generalization 오차 경계를 수립한다.
• 약한 지도 학습 하에서 분류 성능에 대한 보편 일치성 보장을 이론적으로 제공한다.
• LLP에 프레임워크를 적용하여, 해석 가능한 최적화된 가중치 체계를 포함한 현재까지 가장 일반적인 통계 분석을 제공한다.

제안 방법

• 각 소스가 알려진 또는 추정된 레이블 오염에 따라 조정된 손실 함수를 기반으로, 오염 보정 경험적 위험의 가중 합을 수립한다.
• 리프레지터 복잡도를 사용하여 일반화 오차 경계를 유도하며, 리프레지터 복잡도는 리프레지터 손실 함수와 임의의 가중치에 대해 유효하다.
• 일반화 오차 경계를 최소화하기 위해 가중치를 해석적으로 최적화하여, 각 소스의 양성 및 음성 클래스 비율의 제곱 차이에 비례하는 닫힌 형태의 표현식을 도출한다.
• 각 백을 알려진 레이블 비율을 가진 오염된 소스로 모델링하여 LLP에 프레임워크를 적용함으로써 문제를 다중 소스 학습으로 환원한다.
• 표현 정리(representer theorem)를 사용하여 재생 핵 힐버트 공간에서의 해를 표현함으로써, 경사 하강법 최적화를 통한 커널 기반 학습을 가능하게 한다.
• 이론적 예측에 기반한 최적의 백 쌍 및 가중치 할당을 구현하며, 가중치가 0인 쌍(즉, 비율이 균형 잡힌 경우)은 제거한다.

실험 결과

연구 질문

• RQ1 크기와 오염 수준가 다른 다수의 오염된 데이터셋에서 정보를 이원 분류에서 최적의 방식으로 통합할 수 있는가?
• RQ2 일반화 오차를 최소화하는 데 있어 이론적으로 최적의 다중 오염 소스 가중치 체계는 무엇인가?
• RQ3 제안된 프레임워크는 기존 방법보다 레이블 비율 학습(LLP)에 대해 더 강력한 통계적 보장을 제공할 수 있는가?
• RQ4 이 방법은 레이블 비율에 기반한 약한 지도 학습 하에서 분류 성능에 대해 보편 일치성을 달성하는가?
• RQ5 오염 수준과 표본 크기에 기반한 이론적 가중치 최적화는 기존의 LLP 알고리즘과 비교해 실제로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 리프레지터 복잡도를 통해 유도된 바, 다수의 오염된 소스에서 학습할 때 알려진 바 중 가장 날카운 generalization 오차 경계를 달성한다.
• 최적의 가중치는 각 소스의 양성 및 음성 레이블 비율의 제곱 차이에 비례하는 해석 가능한 해석적 표현식으로 유도되었으며, 직관적이고 이해하기 쉬운 통합 규칙을 제공한다.
• 이 프레임워크는 분류 성능 측정 기준에 대해 보편 일치성을 확립하였으며, 이는 이전의 LLP 방법보다 더 강력한 보장을 제공한다.
• 실험 결과, 보정된 손실 접근법이 8개의 UCI 데이터셋과 다양한 백 크기에서 20개의 실험 중 16개에서 균형 정확도에서 InvCal 및 alternate-∝ SVM을 능가한다.
• 레이블 비율이 순수하지 않은 경우에도 강력한 성능 유지를 유지하며, 이는 이전 연구들이 제기한 제약 조건(예: 순수한 백, 유한한 특징 공간)을 피한다.
• 이론적 분석은 LLP를 초월해 일반적인 특징 기반 레이블 노이즈로 확장되며, 이 설정에 대해 처음으로 분포 자유 generalization 오차 경계를 제공한다.