[논문 리뷰] Bridging Ordinary-Label Learning and Complementary-Label Learning

Yasuhiro Katsura, Masato Uchida|arXiv (Cornell University)|2020. 02. 06.

Text and Document Classification Technologies참고 문헌 21인용 수 4

한 줄 요약

이 논문은 일대다 분류와 쌍별 분류에서 손실 함수의 이중성과 가법성에 기반해 일반 레이블 학습과 보완 레이블 학습을 통합한다. 더 많은 보완 레이블이 존재할수록 단조롭게 감소하는 새로운 분류 위험도와 오차 한계를 유도하여, 동일한 조건에서 보완 레이블을 사용한 학습이 일반 레이블을 사용한 학습과 동일하거나 이를 초월할 수 있음을 보여준다.

ABSTRACT

A supervised learning framework has been proposed for the situation where each training data is provided with a complementary label that represents a class to which the pattern does not belong. In the existing literature, complementary-label learning has been studied independently from ordinary-label learning, which assumes that each training data is provided with a label representing the class to which the pattern belongs. However, providing a complementary label should be treated as equivalent to providing the rest of all the labels as the candidates of the one true class. In this paper, we focus on the fact that the loss functions for one-versus-all and pairwise classification corresponding to ordinary-label learning and complementary-label learning satisfy certain additivity and duality, and provide a framework which directly bridge those existing supervised learning frameworks. Further, we derive classification risk and error bound for any loss functions which satisfy additivity and duality.

연구 동기 및 목표

• 일반 레이블 학습과 보완 레이블 학습을 하나의 이론적 프레임워크로 통합하기 위해.
• 가법성과 이중성을 만족하는 손실 함수에 대해 분류 위험도와 오차 한계를 분석하기 위해.
• 기존의 일반 레이블과 보완 레이블 학습을 별개의 문제로 다루는 프레임워크를 일반화하기 위해.
• 보완 레이블 수가 증가할수록 분류 성능이 향상됨을 입증하기 위해.
• 다중 보완 레이블을 사용한 개인정보 보호 학습을 위한 이론적 기반을 제공하기 위해.

제안 방법

• 일대다 분류와 쌍별 분류 간의 이중성과 가법성에 기반한 통합된 손실 함수 프레임워크를 제안한다.
• 모든 클래스에 균일하게 분포하는 다중 보완 레이블을 할당하는 데이터 생성 확률 모델을 정의한다.
• 원점 대칭 시그모이드 손실 함수를 사용하여 분류 위험도와 오차 한계를 유도한다.
• 실험에서 경험적 위험도와 테스트 오차를 추정하기 위해 서브티튜트 분류기를 사용한다.
• 충분한 모델 용량을 가정하고, 이론적 한계에 δ = 0.1과 Lℓ = 1.0을 적용한다.
• 표준 초모수를 사용하여 MNIST, Fashion-MNIST, Kuzushiji-MNIST, CIFAR-10에 대해 MLP와 DenseNet을 적용한다.

실험 결과

연구 질문

• RQ1 일반 레이블 학습과 보완 레이블 학습을 어떻게 하나의 이론적 프레임워크로 통합할 수 있는가?
• RQ2 어떤 손실 함수의 성질이 일대다 분류와 쌍별 분류 간의 직접적 연결을 가능하게 하는가?
• RQ3 보완 레이블의 수가 분류 위험도와 오차에 어떤 영향을 미치는가?
• RQ4 유도된 오차 한계는 경험적 성능 추세를 정확하게 반영할 수 있는가?
• RQ5 레이블 생성의 균일성이 보완 레이블 학습의 일반화에 어떤 영향을 미치는가?

주요 결과

• 보완 레이블 수가 증가할수록 분류 오차가 단조롭게 감소하여, 더 많은 레이블이 성능 향상에 기여함을 시사한다.
• 일대다 분류와 쌍별 분류에 대한 이론적 오차 한계가 유사하게 날카로워, 유도된 한계의 강건성을 검증한다.
• 실험 결과는 보완 레이블 수가 증가할수록 정확도가 지속적으로 향상되는 일관된 추세를 보이며, 이론적 결과를 지지한다.
• 실험적 오차와 이론적 한계가 유사한 정성적 형태를 보이며, 한계의 실제 성능에 대한 관련성을 확인한다.
• 이론적으로 도출된 분류 위험도는 이시다 등(2017, 2019), 코우와 쑹(2020), 펑 등(2020)의 이전 제안보다 더 단순하고 일반적인 형태를 가진다.
• 균일한 다중 보완 레이블 할당을 통해 레이블 분포 泄露를 방지함으로써, 개인정보 보호 학습을 지원한다.