[논문 리뷰] PiCO+: Contrastive Label Disambiguation for Robust Partial Label Learning

Haobo Wang, Ruixuan Xiao외 5명|arXiv (Cornell University)|2022. 01. 22.

Text and Document Classification Technologies인용 수 11

한 줄 요약

이 논문은 부분 레이블 학습에서 강건한 성능을 달성하기 위해 클래스 프로토타입을 통한 표현 학습과 레이블 해석을 동시에 최적화하는 대trastive learning 프레임워크인 PiCO+를 제안한다. 분류기 출력에서 유도한 가짜 양성 쌍을 활용하고 프로토타입을 반복적으로 개선함으로써, 표준 및 노이즈가 있는 부분 레이블 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 레이블의 모호성에도 불구하고 완전한 지도 학습 성능에 근접한다.

ABSTRACT

Partial label learning (PLL) is an important problem that allows each training example to be labeled with a coarse candidate set, which well suits many real-world data annotation scenarios with label ambiguity. Despite the promise, the performance of PLL often lags behind the supervised counterpart. In this work, we bridge the gap by addressing two key research challenges in PLL -- representation learning and label disambiguation -- in one coherent framework. Specifically, our proposed framework PiCO consists of a contrastive learning module along with a novel class prototype-based label disambiguation algorithm. PiCO produces closely aligned representations for examples from the same classes and facilitates label disambiguation. Theoretically, we show that these two components are mutually beneficial, and can be rigorously justified from an expectation-maximization (EM) algorithm perspective. Moreover, we study a challenging yet practical noisy partial label learning setup, where the ground-truth may not be included in the candidate set. To remedy this problem, we present an extension PiCO+ that performs distance-based clean sample selection and learns robust classifiers by a semi-supervised contrastive learning algorithm. Extensive experiments demonstrate that our proposed methods significantly outperform the current state-of-the-art approaches in standard and noisy PLL tasks and even achieve comparable results to fully supervised learning.

연구 동기 및 목표

• 부분 레이블 학습(PLL)에서 표현 학습과 레이블 해석 간 상호의존성이 자주 레이블의 모호성으로 인해 성능 저하를 초래하는 문제를 해결한다.
• 기존 PLL 방법들이 열악한 표현에 의존함으로써 레이블 해석의 정확도가 떨어지는 한계를 극복한다.
• 표현 품질 향상과 레이블 해석 정확도 향상을 상호보완적으로 향상시키는 통합 프레임워크를 개발한다.
• 진짜 레이블이 후보 집합에 포함되지 않을 수 있는 현실적인 문제이지만 아직 탐색이 부족한 노이즈가 있는 부분 레이블 학습을 다룰 수 있도록 프레임워크를 확장한다.
• 기대값-최대화(EM) 관점에서 이 프레임워크를 이론적으로 정당화하여, 대비 학습과 프로토타입 기반의 해석 간 상호 이득이 있음을 보여준다.

제안 방법

• 분류기 출력에서 유도한 가짜 양성 쌍을 활용하여 부분 레이블 환경에서 표현 학습을 향상시키는 대비 학습 모듈을 도입한다.
• 각 샘플을 가장 가까운 프로토타입을 가진 클래스에 할당하는 프로토타입 기반의 레이블 해석 전략을 제안하며, 이를 반복적으로 개선하여 가짜 레이블을 정교화한다.
• EM 유사 최적화 루프에서 대비 학습(M-단계)과 레이블 해석(E-단계)을 번갈아가며 표현과 예측을 동시에 향상시킨다.
• 학습된 표현을 단위 초구면 상의 von Mises-Fisher(vMF) 분포의 혼합으로 이론적으로 모델링하여, 구성 요소별 레이블을 통해 근거 있는 레이블 할당을 가능하게 한다.
• 노이즈가 있는 부분 레이블 환경에서 신뢰할 수 있는 샘플을 식별하기 위해 거리 기반의 깨끗한 샘플 선택 기준을 도입함으로써 PiCO를 PiCO+로 확장한다.
• PiCO+에서 반복적으로 선택된 깨끗한 샘플들로부터의 미지의 데이터를 활용하여 반감독 대비 학습을 통합함으로써 더 강건한 성능을 확보한다.

실험 결과

연구 질문

• RQ1 대비 학습이 부분 레이블 학습에 효과적으로 적용되어 표현 품질 향상과 레이블 해석 개선에 기여할 수 있는가?
• RQ2 프로토타입 기반의 해석 전략을 대비 학습과 통합하여 상호보완적인 훈련 프레임워크를 만들 수 있는가?
• RQ3 진짜 레이블이 후보 집합에 포함되지 않는 경우에도 제안된 프레임워크가 높은 성능을 유지할 수 있는가? — 이는 일반적인 실생활 문제이다.
• RQ4 기존 통계 프레임워크인 기대값-최대화(EM) 알고리즘의 관점에서 표현 학습과 해석의 공동 최적화가 이론적으로 타당한가?
• RQ5 깨끗한 샘플 선택 및 반감독 학습을 통합함으로써 프레임워크가 노이즈가 있는 부분 레이블 학습으로 일반화될 수 있는가?

주요 결과

• PiCO+는 세 가지 표준 부분 레이블 학습 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 SOTA 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 노이즈가 있는 부분 레이블 학습 벤치마크에서 PiCO+는 강건성과 일반화 능력을 입증하였으며, 진짜 레이블이 후보 집합에 포함되지 않은 경우에도 성능 저하 없이 높은 성능 유지를 보였다.
• 완전한 지도 학습 성능과 유사한 성능을 달성함으로써, 레이블의 모호성을 공동 표현 학습과 해석 학습을 통해 효과적으로 완화할 수 있음을 시사한다.
• 이론적 분석을 통해 프레임워크가 EM 알고리즘과 일치함을 확인하였으며, 대비 학습이 표현 품질을 향상시키고, 레이블 해석이 가짜 레이블을 정교화함으로써 상호 이득을 주는 순환 구조임을 입증하였다.
• PiCO+에서 거리 기반의 깨끗한 샘플 선택 기법을 사용함으로써 노이즈가 있는 환경에서의 강건성이 향상되었으며, 기존의 소손실 선택 기준보다 뛰어난 성능을 보였다.
• 학습된 표현이 von Mises-Fisher 혼합 분포를 따르며, 이는 프로토타입 기반의 레이블 할당에 기하학적 근거를 제공한다.