[논문 리뷰] Learning with Multiple Complementary Labels

Lei Feng, Takuo Kaneko외 4명|arXiv (Cornell University)|2019. 12. 30.

Machine Learning and Data Classification참고 문헌 57인용 수 23

한 줄 요약

이 논문은 각 예시에 여러 개의 잘못된 클래스 레이블이 할당되는 다중보완레이블(MCLs)을 활용하는 새로운 학습 프레임워크를 제안한다. 이는 기존의 단일보완레이블 학습을 확장한 것으로, 기존 방법과의 호환성을 위해 MCLs를 다수의 단일 CL로 분해하는 워핑 방법과, MCL 세트를 전체로 처리하는 새로운 비편향 리스크 추정기 두 가지 접근법을 제안한다. 이 추정기는 이론적 보장과 함께 실증 성능에서도 뛰어나, 기존의 워핑 기반 방법보다 벤치마크 데이터셋에서 더 우수한 성능을 보인다.

ABSTRACT

A complementary label (CL) simply indicates an incorrect class of an example, but learning with CLs results in multi-class classifiers that can predict the correct class. Unfortunately, the problem setting only allows a single CL for each example, which notably limits its potential since our labelers may easily identify multiple CLs (MCLs) to one example. In this paper, we propose a novel problem setting to allow MCLs for each example and two ways for learning with MCLs. In the first way, we design two wrappers that decompose MCLs into many single CLs, so that we could use any method for learning with CLs. However, the supervision information that MCLs hold is conceptually diluted after decomposition. Thus, in the second way, we derive an unbiased risk estimator; minimizing it processes each set of MCLs as a whole and possesses an estimation error bound. We further improve the second way into minimizing properly chosen upper bounds. Experiments show that the former way works well for learning with MCLs but the latter is even better.

연구 동기 및 목표

• 기존 보완레이블 학습이 각 예시당 하나의 잘못된 레이블만 允허하는 한계를 해결하기 위해, 다수의 보완레이블(MCLs)을 지원하는 새로운 문제 설정을 도입한다.
• 기존의 분해 기반 접근법이 감독 정보를 희석시키는 데 비해, 실용적이고 이론적으로 탄탄한 MCLs 기반 학습 방법을 개발한다.
• 각 MCL 세트를 전체로 간주하는 비편향 리스크 추정기를 제안함으로써 개념적 일관성과 수렴 보장을 확보한다.
• 제안된 리스크 추정기의 추정 오차 경계를 유도하여, 학습 데이터 크기가 증가함에 따라 실제 리스크 최소화자로의 수렴을 보장한다.

제안 방법

• 학습 예시당 다수의 보완레이블(MCLs)을 允허하는 새로운 문제 설정을 제안하여, 레이블러로부터 더 풍부한 감독 정보를 확보한다.
• 기존 CL 학습 알고리즘 사용을 가능하게 하기 위해, 각 MCL 세트를 다수의 단일 CL을 가진 예시로 분해하는 두 가지 워핑 방법을 설계한다.
• 분해로 인한 정보 희석을 방지하기 위해, 각 MCL 세트를 전체로 처리하는 비편향 리스크 추정기를 개발한다.
• 리스크 추정기의 이론적 추정 오차 경계를 도출하여, 미약한 조건 하에서 진짜 리스크 최소화자로의 수렴을 증명한다.
• 최적화 안정성과 기울기 갱신 향상을 위해, 리스크 추정기의 적절히 선택된 상한을 최소화함으로써 추정기를 개선한다.
• 벤치마크 데이터셋에서 성능을 평가하기 위해 표준 딥러닝 모델(예: ResNet, DenseNet)과 선형 모델을 활용한다.

실험 결과

연구 질문

• RQ1 다중보완레이블(MCLs)을 사용한 학습이 단일보완레이블 학습보다 분류 성능을 향상시킬 수 있는가?
• RQ2 MCL 세트를 전체로 처리하는 것이 다수의 단일 CL 예시로 분해하는 것보다 더 나은 성능을 낼 수 있는가?
• RQ3 MCLs를 위한 리스크 추정기의 이론적 일반화 성능는 어떠한가? 그리고 수렴 보장을 하는가?
• RQ4 MCLs를 학습할 때, 유계 손실 함수(예: MAE, GCE)와 무한대 손실 함수(예: CCE)의 성능에 어떤 영향을 미치는가?
• RQ5 상한 최소화가 MCL 기반 모델의 실용적 훈련에 개선을 가져올 수 있는가?

주요 결과

• 제안된 MCL 세트를 전체로 처리하는 비편향 리스크 추정기는 모든 벤치마크 데이터셋에서 워핑 기반 분해 방법보다 일관되게 뛰어난 성능을 보였다.
• 리스크 추정기의 추정 오차 경계는 학습 데이터 크기가 증가함에 따라 경험적 리스크 최소화자가 진짜 리스크 최소화자로 수렴할 확률이 높다는 것을 보장한다.
• 리스크 추정기의 상한을 최소화하는 방식으로 개선된 방법은 더 안정적이고 효과적인 기울기 갱신을 이끌어내어 모델 성능을 향상시켰다.
• 실험 결과, 각 예시당 MCL 수가 증가할수록 분류 정확도가 향상되었으며, 이는 더 많은 감독 정보가 학습에 유리하다는 이론적 기대를 검증한 것이다.
• 유계 손실 함수(예: MAE, GCE)가 MCL 환경에서 무한대 손실 함수인 교차엔트로피(CCE)보다 성능이 뛰어나, 유계 손실 함수가 약한 지도학습 환경에서 과적합을 완화한다는 점을 시사한다.