[논문 리뷰] One Positive Label is Sufficient: Single-Positive Multi-Label Learning with Label Enhancement

Ning Xu, Congyu Qiao외 3명|arXiv (Cornell University)|2022. 06. 01.

Text and Document Classification Technologies인용 수 11

한 줄 요약

이 논문은 예제당 하나의 양성 레이블만을 사용하여 이론적으로 타당한 성능을 달성하는 새로운 단일양성 다중레이블 학습 방법인 Smile을 제안한다. 편향이 없는 리스크 추정기의 유도와 변동적 베타 밀도 근사에 의한 레이블 강화를 통해 Smile은 잠재적인 소프트 레이블을 복구하고 12개의 손상된 다중레이블 데이터셋에서 기존의 SPMLL 방법들보다 통계적으로 유의미하게 뛰어난 성능을 보여준다.

ABSTRACT

Multi-label learning (MLL) learns from the examples each associated with multiple labels simultaneously, where the high cost of annotating all relevant labels for each training example is challenging for real-world applications. To cope with the challenge, we investigate single-positive multi-label learning (SPMLL) where each example is annotated with only one relevant label, and show that one can successfully learn a theoretically grounded multi-label classifier for the problem. In this paper, a novel SPMLL method named SMILE, i.e., Single-positive MultI-label learning with Label Enhancement, is proposed. Specifically, an unbiased risk estimator is derived, which could be guaranteed to approximately converge to the optimal risk minimizer of fully supervised learning and shows that one positive label of each instance is sufficient to train the predictive model. Then, the corresponding empirical risk estimator is established via recovering the latent soft label as a label enhancement process, where the posterior density of the latent soft labels is approximate to the variational Beta density parameterized by an inference model. Experiments on benchmark datasets validate the effectiveness of the proposed method.

연구 동기 및 목표

• 다중레이블 학습에서 높은 레이블링 비용 문제를 해결하기 위해 예제당 하나의 양성 레이블만으로도 학습이 가능하도록 하는 것.
• 단일양성 다중레이블 학습이 효과적인 분류 성능을 달성할 수 있는 이론적 근거를 제공하는 것.
• 낮은 감독 환경에서 모델 일반화를 향상시키기 위해 잠재적인 소프트 레이블을 강화하는 실용적인 방법을 개발하는 것.
• 실세계에서 손상된 다중레이블 데이터셋에서 제안된 방법의 효과성을 입증하는 것.

제안 방법

• 완전한 감독 다중레이블 학습에서 최적의 리스크 최소화자로 수렴함을 보장하는 편향 없는 리스크 추정기를 유도함. 이는 예제당 하나의 양성 레이블만 존재하는 경우에도 적용 가능하다.
• 잠재적인 소프트 레이블의 사후 밀도를 변동적 베타 분포로 근사하여 그들의 사후 밀도를 추정하는 레이블 강화 과정을 제안한다.
• 종합적인 최적화를 위한 근거(lower bound)인 ELBO를 제안하여 분류기와 소프트 레이블 추정의 동시 학습을 가능하게 한다.
• 예측 모델로 깊이 있는 신경망을 사용하며, 3층의 MLP를 활용하고, Adam 옵timizer를 사용하여 ELBO 목표함수 기반으로 학습한다.
• 제안된 강화 메커니즘의 효과를 검증하기 위해 레이블 스무딩과 신뢰도 기반 소프트 레이블 근사 방법을 아블레이션 기반으로 통합한다.
• 12개의 손상된 다중레이블 데이터셋에 이 방법을 적용하고, 5폴드 교차검증을 실시하며, 훈련/검증/테스트 분할 비율을 80%/10%/10%로 설정한다.

실험 결과

연구 질문

• RQ1 예제당 하나의 양성 레이블만으로도 완전한 레이블 감독 없이 다중레이블 분류기가 효과적으로 학습될 수 있는가?
• RQ2 단일양성 다중레이블 학습에서 최적 해로 수렴함을 보장하는 이론적으로 타당한 리스크 추정기가 존재하는가?
• RQ3 소프트 레이블의 변동적 사후 근사에 의한 레이블 강화가 낮은 감독 환경에서 모델 성능을 유의미하게 향상시키는가?
• RQ4 기존의 SPMLL 및 부분 레이블 학습 방법들과 비교했을 때 제안된 Smile 방법은 일반화 능력과 견고성 측면에서 어떻게 성능을 내는가?

주요 결과

• Smile은 12개의 손상된 다중레이블 데이터셋에서 평균 정밀도, 일오차, 랭킹 손실, 하미트 손실 측면에서 모든 베이스라인 방법들을 뛰어넘는 성능을 보였다.
• 와일콕슨 부호순위 검정을 통해 Smile의 성능이 0.05 유의수준에서 모든 비교 방법들보다 통계적으로 뛰어나다는 것이 확인되었으며, p값 범위는 0.0049에서 0.0277 사이였다.
• 레이블 강화를 모델 신뢰도 기반 소프트 레이블 근사로 대체한 아블레이션 변종인 Smile-si의 성능은 Smile보다 열 劣하므로, 레이블 강화 메커니즘이 필수적임을 입증하였다.
• 그림 3에서 보듯이 추정된 소프트 레이블 행렬 D는 학습 중에 안정적으로 수렴함을 확인하여 효과적이고 안정적인 레이블 복구가 이루어지고 있음을 시사한다.
• 레이블 수가 다양한 데이터셋에서도 Smile은 일관된 성능 우위를 유지하며, 레이블 세트 크기의 변동에 대해 견고함을 입증하였다.