[논문 리뷰] Mitigating Overfitting in Supervised Classification from Two Unlabeled Datasets: A Consistent Risk Correction Approach

Nan Lu, Tianyi Zhang외 2명|arXiv (Cornell University)|2019. 10. 20.

Machine Learning and Data Classification참고 문헌 56인용 수 16

한 줄 요약

이 논문은 레이블이 없는 레이블(UT) 분류에서 심각한 과적합이 발생하는 문제를 완화하기 위해 일관된 위험 보정 방법을 제안한다. 여기서 과적합은 부정적인 경험적 위험과 동시에 발생한다. 문제를 일으키는 위험 항목을 보정 함수로 감싸서 위험 추정기의 비음성(비음수성)을 보장함으로써, 이 방법은 일관성과 향상된 일반화 성능을 입증한다. 실험 결과 원래의 UU 방법에 비해 정확도 향상이 뚜렷하게 나타났다.

ABSTRACT

The recently proposed unlabeled-unlabeled (UU) classification method allows us to train a binary classifier only from two unlabeled datasets with different class priors. Since this method is based on the empirical risk minimization, it works as if it is a supervised classification method, compatible with any model and optimizer. However, this method sometimes suffers from severe overfitting, which we would like to prevent in this paper. Our empirical finding in applying the original UU method is that overfitting often co-occurs with the empirical risk going negative, which is not legitimate. Therefore, we propose to wrap the terms that cause a negative empirical risk by certain correction functions. Then, we prove the consistency of the corrected risk estimator and derive an estimation error bound for the corrected risk minimizer. Experiments show that our proposal can successfully mitigate overfitting of the UU method and significantly improve the classification accuracy.

연구 동기 및 목표

• UT 분류에서 심각한 과적합 문제를 해결하기 위해, 서로 다른 클래스 사전 확률을 가진 두 개의 레이블이 없는 데이터셋에서 훈련하는 최근의 방법을 다루는 것.
• 훈련 데이터에서 부정적인 경험적 위험과 동시에 발생하는 과적합의 근본 원인을 규명하는 것.
• 부정적인 위험 추정을 방지하면서도 모델의 표현 능력을 유지하는 일관된 위험 보정 프레임워크를 개발하는 것.
• 보정된 위험 추정기의 일관성을 증명하고, 최소화자에 대한 추정 오차 경계를 유도하는 것.
• 다양한 모델, 최적화 기법, 데이터셋에서 보정이 과적합을 완화하고 테스트 정확도를 향상시키는지 실증적으로 검증하는 것.

제안 방법

• 경험적 위험에서 부정적인 값을 유도하는 항목을 보정 함수로 감싸, 비음성 위험 추정기의 보장을 위한 보정 함수를 제안한다.
• 약한 정규성 조건 하에서 일관성을 유지하는 보정된 위험 추정기를 정의한다.
• 보정된 위험 추정기의 이론적 일관성을 증명하고, 최소화자에 대한 추정 오차 경계를 도출한다.
• 표준 경험적 위험 최소화에 호환되는 모든 모델과 최적화 기법에 보정을 적용한다.
• 훈련 시 보정된 위험을 목적함수로 사용함으로써, 표현 능력을 훼손하지 않으면서도 모델을 효과적으로 정규화한다.
• 보정 기법이 일반 목적 정규화(예: 드롭아웃, 가중치 감쇠)보다 UT 설정에서 더 효과적임을 입증한다.

실험 결과

연구 질문

• RQ1 기존의 UU 방법은 비편향 위험 추정 기반임에도 불구하고 왜 심각한 과적합을 겪는가?
• RQ2 경험적 위험 추정기가 부정수가 되었을 때, 일관적이고 이론적으로 탄탄한 방식으로 보정할 수 있는가?
• RQ3 부정적인 경험적 위험과 과적합이 동시에 발생하는 현상을 활용해 더 견고한 훈련 목표를 설계할 수 있는가?
• RQ4 제안된 보정 기법이 다양한 모델과 데이터셋에서 일반화 성능을 향상시키는가?
• RQ5 제안된 방법은 UU 설정에서 드롭아웃, 가중치 감쇠와 같은 표준 정규화 기법과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 위험 보정 기법은 다양한 데이터셋, 모델, 최적화 기법, 손실 함수에서 UT 분류의 과적합을 효과적으로 완화한다.
• 부정적인 경험적 위험과 심각한 과적합 사이에 강한 경험적 공존 관계가 관찰되어 핵심 가설을 뒷받침한다.
• 보정된 위험 추정기는 이론적으로 일관성이 있으며, 최소화자의 추정 오차는 유계이다.
• 실험 결과, 원래의 UU 방법과 표준 정규화 기법에 비해 테스트 정확도에서 뚜렷한 향상이 나타났다.
• 일반 목적 정규화(예: 드롭아웃, 가중치 감쇠)는 UU 설정에서는 과적합을 완화하지 못하지만, 제안된 보정 기법은 문제에 특화되어 있다.
• 표준 정규화보다 모델의 표현 능력을 더 잘 유지하며, 과적합은 효과적으로 줄이고 과소적합을 방지한다.