[논문 리뷰] Progressive Identification of True Labels for Partial-Label Learning

Jiaqi Lv, Miao Xu외 4명|arXiv (Cornell University)|2020. 02. 19.

Machine Learning and Data Classification참고 문헌 56인용 수 36

한 줄 요약

모델- 및 손실에 구애받지 않는 PRODEN은 부분 라벨 학습(PLL)을 위한 점진적 식별 프레임워크와 분류기 일치 위험 추정기를 도입하고, 다양한 데이터셋에서 최첨단 성능을 입증합니다.

ABSTRACT

Partial-label learning (PLL) is a typical weakly supervised learning problem, where each training instance is equipped with a set of candidate labels among which only one is the true label. Most existing methods elaborately designed learning objectives as constrained optimizations that must be solved in specific manners, making their computational complexity a bottleneck for scaling up to big data. The goal of this paper is to propose a novel framework of PLL with flexibility on the model and optimization algorithm. More specifically, we propose a novel estimator of the classification risk, theoretically analyze the classifier-consistency, and establish an estimation error bound. Then we propose a progressive identification algorithm for approximately minimizing the proposed risk estimator, where the update of the model and identification of true labels are conducted in a seamless manner. The resulting algorithm is model-independent and loss-independent, and compatible with stochastic optimization. Thorough experiments demonstrate it sets the new state of the art.

연구 동기 및 목표

• PLL을 후보 라벨 세트만 이용 가능한 확장 가능하고 유연한 약지도 학습 문제로 모티브화합니다.
• PLL에 적합한 분류기-일치 위험 추정기를 정의하되 특정 모델이나 최적화 도구에 의존하지 않습니다.
• 모델 업데이트와 진짜 라벨 식별을 확률적이며 모델 독립적인 방식으로 통합하는 점진적 식별(PRODEN) 알고리즘을 제안합니다.
• 분류기-일치 위험 및 추정 오차 경계를 포함한 이론적 보장을 확립합니다.
• 합성 및 실제 데이터셋에서 PRODEN을 여러 기준선과 대조 검증하고 심층 학습 백본을 포함한 다양한 설정에서 평가합니다.

제안 방법

• PLL에 대한 분류기-일치 위험을 제안합니다: R_PLL(g)=E[min_{i in S} l(g(X), e^i)].
• 작은 모호성 정도와 cross-entropy 또는 MSE 손실 하에서 PLL 분류기가 일반적인 최적 분류기와 동일하다는 것을 보입니다(분류기 일치성).
• 경험적 PLL 위험에 대한 추정 오차 경계를 리드마치어 복잡도(Rademacher 복잡도)를 사용해 도출합니다.
• PRODEN을 도입합니다: min을 동적 가중치 w_ij로 완화하고 가중치와 분류기를 함께 업데이트하는 점진적 식별 알고리즘으로, 매끄럽고 확률적 방법으로 작동합니다.
• 개별 가중치 w_ij를 현재 예측에서 도출된 값으로 재구성하는 R̂_PLL= (1/n) sum_i sum_j w_ij l(g_j(x_i), e_j^{s_i}) 형태의 분해 가능 손실을 사용해 PLL 위험을 재정식화합니다.
• 균일 가중치로 초기화하고 w_ij = g_j(x_i) / sum_{k in s_i} g_k(x_i)로 점진적으로 조정합니다.
• PRODEN은 모델- 및 손실 독립적이며 확률적 최적화와 호환됩니다.

실험 결과

연구 질문

• RQ1 PLL이 임의의 모델과 손실 함수에서 작동하는 분류기-일치 위험 추정기로 어떻게 프레이밍될 수 있는가?
• RQ2 교육 중에 후보 세트 내에서 참 라벨을 효과적으로 식별하는 점진적 식별 전략이 확장 가능한 확률적 최적화 프레임워크에서 효과적인가?
• RQ3 현실 조건에서 PLL에 대한 이론적 보장(분류기-일치성 및 추정 오차 경계)이 성립하는가?
• RQ4 PRODEN은 합성 및 실제 데이터셋 및 다양한 모델 아키텍처에서 최첨단 PLL 방법들과 비교하여 어떤 성능을 보이는가?

주요 결과

• 후보 라벨 중 최소 손실에 기반한 PLL 위험 추정기는 결정론적 학습, 작은 모호성 정도 및 교차 엔트로피 또는 MSE와 같은 일반적인 손실에서 분류기 일치를 만족합니다.
• 추정 오차 경계가 확립되어 PLL 위험이 샘플 크기가 커짐에 따라 일반 PLL 위험으로 수렴하며, 부분 클래스의 Rademacher 복잡도에 의존합니다.
• PRODEN 알고리즘은 여러 벤치마크에서 최첨단 성능을 달성하고, 여러 데이터셋에서 감독 학습(PN-oracle) 성능에 근접하거나 이를 상회하는 경우가 많으며, 모델 계열 및 모호성 수준에 대해 강건함을 보입니다.
• 가중치와 모델 매개변수의 결합 업데이트를 매끄럽게 수행하여 E- 및 M-스텝 분리로 인한 과적합을 피하므로 EM 기반 방법보다 더 향상된 성능을 보입니다.
• PRODEN은 높은 모호성 정도와 다양한 데이터셋(MNIST, Fashion-MNIST, Kuzushiji-MNIST, CIFAR-10 및 다수의 실제 부분 라벨 데이터셋)을 대상으로 강력한 성능을 보여줍니다.