[논문 리뷰] SoLar: Sinkhorn Label Refinery for Imbalanced Partial-Label Learning

Haobo Wang, Mingxuan Xia외 5명|arXiv (Cornell University)|2022. 09. 21.

Text and Document Classification Technologies인용 수 14

한 줄 요약

SoLar는 최적 운반 기반의 새로운 프레임워크를 제안하여 장꼬리 부분 레이블 학습에서 진짜 클래스 사전 분포와 일치하도록 의사 레이블을 개선한다. Sinkhorn-Knopp 최적화 및 반복적 클래스 사전 추정을 사용하며, 최신 기술 수준의 성능을 달성하여 장꼬리 CIFAR10에서 15.12% 향상되고, 로짓 조정을 통해 6.72% 향상된다.

ABSTRACT

Partial-label learning (PLL) is a peculiar weakly-supervised learning task where the training samples are generally associated with a set of candidate labels instead of single ground truth. While a variety of label disambiguation methods have been proposed in this domain, they normally assume a class-balanced scenario that may not hold in many real-world applications. Empirically, we observe degenerated performance of the prior methods when facing the combinatorial challenge from the long-tailed distribution and partial-labeling. In this work, we first identify the major reasons that the prior work failed. We subsequently propose SoLar, a novel Optimal Transport-based framework that allows to refine the disambiguated labels towards matching the marginal class prior distribution. SoLar additionally incorporates a new and systematic mechanism for estimating the long-tailed class prior distribution under the PLL setup. Through extensive experiments, SoLar exhibits substantially superior results on standardized benchmarks compared to the previous state-of-the-art PLL methods. Code and data are available at: https://github.com/hbzju/SoLar .

연구 동기 및 목표

• 장꼬리적, 불균형 데이터 설정에서 기존 부분 레이블 학습(PLL) 방법의 성능 저하 문제를 해결한다.
• 불균형한 PLL에서 머리 클래스 쪽으로 향하는 의사 레이블 편향이 핵심 실패 원인임을 규명한다.
• 의사 레이블 분포가 진짜 마진널 클래스 사전 분포와 일치하도록 보장하는 레이블 해석 해소 프레임워크를 개발한다.
• 진짜 레이블 수가 알려져 있지 않은 부분 레이블 설정에서 장꼬리 클래스 사전 분포를 추정하는 비틀린 문제를 해결한다.
• 기존의 알려진 클래스 사전 분포가 필요 없이도 소수 클래스에서 일반화 성능을 향상시키는 자기지도형, 종단 간 훈련 가능한 시스템을 설계한다.

제안 방법

• 후보 레이블 집합 내에서 질량을 유지하면서 예측된 의사 레이블 분포를 추정된 클래스 사전 분포와 일치시키는 제약 조건이 부여된 최적 운반 문제로 레이블 해석 문제를 수립한다.
• 저비용 계산 오버헤드로 최적 운반 문제를 효율적으로 해결하기 위해 Sinkhorn-Knopp 알고리즘을 사용한다.
• 모델 예측의 이동 평균을 사용한 반복적 클래스 사전 추정 메커니즘을 도입하며, 정확도를 향상시키기 위해 샘플 선택 전략을 강화한다.
• 표준 PLL 파이프라인에 레이블 정제 모듈을 통합하여 PRODEN 및 PiCO와 같은 기존 방법과의 호환성을 확보한다.
• 성능 향상을 위해 로짓 조정을 후처리 단계로 적용하여, 장꼬리 학습 기법과의 호환성을 입증한다.
• 정련된 의사 레이블에 대해 교차 엔트로피 손실을 사용하여 종단 간 훈련을 수행하며, 전체 목표의 통계적 일관성을 보장한다.

실험 결과

연구 질문

• RQ1 최신 기술 수준의 부분 레이블 학습 방법은 장꼬리 데이터셋에서 왜 실패하는가?
• RQ2 최적 운반을 활용해 부분 레이블 학습에서 의사 레이블의 분포를 진짜 클래스 사전 분포와 일치시킬 수 있는가?
• RQ3 진짜 클래스 사전 분포는 진짜 레이블이 알려져 있지 않은 부분 레이블 설정에서 어떻게 추정할 수 있는가?
• RQ4 클래스 분포를 사전에 알지 못하는 상황에서도 레이블 정제 프레임워크가 소수(꼬리) 클래스 성능을 향상시킬 수 있는가?
• RQ5 SoLar를 기존의 장꼬리 학습 기법(예: 로짓 조정)과 조합하면 성능 향상이 추가로 이루어지는가?

주요 결과

• SoLar는 부분 레이블이 있는 장꼬리 CIFAR10 데이터셋에서 최고의 베이스라인 대비 꼬리 클래스 정확도를 15.12% 향상시켰다.
• SUN397 데이터셋에서 SoLar는 모든 베이스라인을 상당한 격차로 앞서며, 실제 세계의 불균형적이고 부분 레이블이 부여된 데이터에서의 효과성을 입증했다.
• 그림 1(b)에서 볼 수 있듯이 SoLar가 추정한 클래스 사전 분포는 진짜 사전 분포와 매우 유사하게 일치함을 확인하여 추정 메커니즘의 강건성을 검증했다.
• SoLar는 장꼬리 CIFAR10에서 로짓 조정과 조합했을 때 6.72%의 정확도 향상을 달성하여, 기존 장꼬리 학습 방법과의 호환성을 입증했다.
• 이 방법은 통계적으로 일관되며, 제안된 목표 하에 인구 수준에서 최적의 분류기 성능을 보장한다.
• 실증 분석을 통해 기존 PLL 방법인 PRODEN이 머리 클래스 쪽으로 심각한 편향을 보이는 반면, SoLar는 제약 조건이 부여된 레이블 정제를 통해 이를 효과적으로 완화함을 확인했다.