[논문 리뷰] An Unbiased Risk Estimator for Learning with Augmented Classes

Yujie Zhang, Peng Zhao외 1명|arXiv (Cornell University)|2019. 10. 21.

Machine Learning and Algorithms참고 문헌 47인용 수 9

한 줄 요약

이 논문은 클래스 이동 조건 하에서 테스트 분포에 대한 편향 없는 리스크 추정기로, 미분류 학습 데이터를 활용해 보정된 클래스 학습(LAC)을 위한 새로운 접근법인 Eulac을 제안한다. 알려진 클래스와 확장된 클래스 분포의 혼합으로 모델링된 테스트 분포를 기반으로, 일致성과 일반화 오차 경계를 이론적으로 보장하는 일반화 성능을 달성하며, 사전 분포의 변화가 동시에 발생하는 복잡하고 동적인 환경에서 기하학적 및 히우리스틱 방법들을 능가한다.

ABSTRACT

This paper studies the problem of learning with augmented classes (LAC), where augmented classes unobserved in the training data might emerge in the testing phase. Previous studies generally attempt to discover augmented classes by exploiting geometric properties, achieving inspiring empirical performance yet lacking theoretical understandings particularly on the generalization ability. In this paper we show that, by using unlabeled training data to approximate the potential distribution of augmented classes, an unbiased risk estimator of the testing distribution can be established for the LAC problem under mild assumptions, which paves a way to develop a sound approach with theoretical guarantees. Moreover, the proposed approach can adapt to complex changing environments where augmented classes may appear and the prior of known classes may change simultaneously. Extensive experiments confirm the effectiveness of our proposed approach.

연구 동기 및 목표

• 보정된 클래스 학습(LAC) 분야에서 일반화 능력에 대한 이론적 이해 부족 문제를 해결하기 위해.
• 미분류 데이터를 활용해 알려진 클래스와 확장된 클래스 간의 관계를 모델링하여, 알려지지 않은 클래스의 분포를 추정하기 위해.
• 약한 가정 하에 점진적 일致성과 비점진적 일반화 오차 경계를 포함한 이론적 보장을 갖춘 방법을 개발하기 위해.
• 확장된 클래스와 알려진 클래스의 클래스 사전 확률이 동시에 변화하는 복잡한 환경에 적응할 수 있도록 하기 위해.
• 기존 기하학 기반 LAC 방법에서의 주요 한계인 히ュ리스틱 기반 하이퍼파ram터 선택을 피하기 위해 표준 교차검증을 가능하게 하기 위해.

제안 방법

• 테스트 분포를 알려진 클래스와 확장된 클래스 분포의 혼합으로 모델링하는 클래스 이동 조건을 도입하여, 훈련 데이터로부터 리스크 추정이 가능하도록 한다.
• 분포 모델링을 통해 미분류 데이터를 활용해 확장된 클래스 분포를 알려진 클래스 분포와 분리하여 추정한다.
• 라벨이 붙은 데이터와 미분류 데이터를 사용해 테스트 분포에서 추정된 리스크를 최소화함으로써 보정된 클래스 학습 문제를 위한 편향 없는 경험 리스크 추정기를 구성한다.
• 클래스 이동 가정 하에 편향 없는 리스크 추정기를 최소화하는 Eulac(Exploiting Unlabeled data for Learning with Augmented Classes) 프레임워크를 개발한다.
• 재가중 기법을 통합하여 알려진 클래스의 사전 확률 변화를 처리할 수 있도록 확장하여, 더 뛰어난 내성성을 확보한 Eulac-shift를 제안한다.
• 제곱 손실을 사용하는 커널 기반 가설 집합을 활용하고, Adam 및 혼합 비율에 대한 그리드 서치를 포함한 표준 딥러닝 파ip라인을 최적화에 적용한다.

실험 결과

연구 질문

• RQ1 약한 가정 하에, 미분류 훈련 데이터만을 사용하여 보정된 클래스 학습 문제에서 테스트 분포에 대한 편향 없는 리스크 추정기를 구성할 수 있는가?
• RQ2 제안된 방법이 보정된 클래스 존재 조건 하에서 일치성과 일반화 오차 경계를 포함한 이론적 보장을 달성하는가?
• RQ3 확장된 클래스와 알려진 클래스의 사전 확률이 동시에 변화하는 환경에 적응할 수 있는가?
• RQ4 미분류 데이터의 사용이 일반화 오차에 어떤 영향을 미치며, 신경망 학습에서 수렴성과 성능 향상으로 이어지는가?
• RQ5 기하학 기반 접근 방식과 달리, LAC에서 표준 교차검증을 하이퍼파ram터 선택에 의미 있게 적용할 수 있는가?

주요 결과

• Eulac는 점진적 일치성과 비점진적 일반화 오차 경계를 모두 확보하며, 미분류 샘플 수가 증가할수록 오차가 감소한다.
• 기존 기하학 기반 LAC 방법이 히우리스틱 기반 하이퍼파ram터 선택을 사용하는 데 반해, Eulac는 유효한 교차검증을 통한 하이퍼파ram터 튜닝을 가능하게 한다.
• SVHN에서 혼합 비율 0.9일 때 AUC가 가장 높게 나타나 (90.2 ± 2.8), 훈련 손실은 45.4 ± 1.2로 감소하여 높은 혼합 비율에서 더 나은 수렴을 보였다.
• CIFAR-10에서 Eulac는 혼합 비율 0.9일 때 AUC 98.6 ± 0.6을 기록하며, 보다 뛰어난 확장된 클래스 탐지 성능을 보였다.
• 사전 확률 변화를 고려한 Eulac-shift는 Eulac-base 및 OVR-shift보다 복잡하고 변화가 많은 환경에서 뚜렷이 뛰어난 성능을 보이며, 분포 이동에 대한 내성성을 입증했다.
• 일반화 오차 경계 분석을 통해, 미분류 데이터가 일반화 성능을 향상시킨다는 것이 확인되었으며, 제안된 리스크 추정기의 이론적 우수성을 검증했다.