[논문 리뷰] In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning

Mamshad Nayeem Rizve, Kévin Duarte외 2명|arXiv (Cornell University)|2021. 01. 15.

Text and Document Classification Technologies인용 수 242

한 줄 요약

논문은 불확실성 인식 기반의 가짜 라벨 선택(UPS) 프레임워크를 도입하여 라벨 노이즈를 감소시키고, 다중 라벨 학습을 위한 음수 라벨을 가능하게 하며 CIFAR-10/100, UCF-101, Pascal VOC에서 강력한 SSL 성능을 달성한다.

ABSTRACT

The recent research in semi-supervised learning (SSL) is mostly dominated by consistency regularization based methods which achieve strong performance. However, they heavily rely on domain-specific data augmentations, which are not easy to generate for all data modalities. Pseudo-labeling (PL) is a general SSL approach that does not have this constraint but performs relatively poorly in its original formulation. We argue that PL underperforms due to the erroneous high confidence predictions from poorly calibrated models; these predictions generate many incorrect pseudo-labels, leading to noisy training. We propose an uncertainty-aware pseudo-label selection (UPS) framework which improves pseudo labeling accuracy by drastically reducing the amount of noise encountered in the training process. Furthermore, UPS generalizes the pseudo-labeling process, allowing for the creation of negative pseudo-labels; these negative pseudo-labels can be used for multi-label classification as well as negative learning to improve the single-label classification. We achieve strong performance when compared to recent SSL methods on the CIFAR-10 and CIFAR-100 datasets. Also, we demonstrate the versatility of our method on the video dataset UCF-101 and the multi-label dataset Pascal VOC.

연구 동기 및 목표

• 도메인 특화 증강에 의존하지 않는 일반적인 SSL 접근법으로서 가짜 라벨링의 타당성을 제시한다.
• 네트워크의 보정이 미흡해 발생하는 고신뢰도의 잘못된 가짜 라벨 문제를 해결한다.
• 저불확실성이고 고신뢰도의 가짜 라벨을 선택하도록 UPS를 제안하고, 다중 라벨 학습을 위한 음수 가짜 라벨을 도입한다.
• UPS를 사용하여 CIFAR-10/100, UCF-101, Pascal VOC에서 강력한 경험적 결과를 입증한다.
• 불확실성 추정 방법 전반에 걸친 강건성을 보여주고 다중 모달리티에의 적용 가능성을 논의한다.

제안 방법

• 네트워크 예측으로부터 하드 임계값(gamma)을 이용하여 y-tilde를 생성하는 가짜 라벨의 생성을 형식화한다.
• 신뢰도 임계값(tau_p, tau_n)을 사용하여 양의/음의 가짜 라벨을 선택하는 부분집합 선택 벡터 g를 도입한다.
• 불확실성 u(p)와 임계값(kappa_p, kappa_n)을 도입하여 불확실성 인식 선택(UPS) 기준을 형성한다.
• 양의 교차 엔트로피를 사용하거나 양의 라벨이 선택되지 않은 경우 음수 학습을 포함한 선택된 가짜 라벨 부분집합과 라벨 데이터를 결합해 학습하고, 다중 라벨인 경우에는 수정된 BCE를 사용한다.
• 재생성된 라벨로 반복적으로 재학습하고 오류 전파를 제한하기 위해 네트워크를 재초기화한다(Algorithm 1).
• UPS가 모달리티에 구애받지 않으며 다양한 불확실성 추정 방법(MC-Dropout, SpatialDropout, DropBlock, Data Aug)과 호환됨을 입증한다.

실험 결과

연구 질문

• RQ1 불확실성 인식 가짜 라벨 선택으로 보강된 가짜 라벨링 접근법이 경쟁력 있는 SSL 성능을 달성할 수 있는가?
• RQ2 가짜 라벨 선택에 불확실성을 포함시키는 것이 보정 관련 노이즈와 일반화에 어떤 영향을 미치는가?
• RQ3 음수 학습과 불확실성 기반 선택을 통해 UPS가 다중 라벨 및 비디오 도메인으로 자연스럽게 확장되는가?
• RQ4 다수의 데이터셋에 걸쳐 불확실성 추정 방법의 선택과 하이퍼파라미터에 UPS가 얼마나 강건한가?

주요 결과

• UPS는 불확실성 인식 선택을 사용하여 가짜 라벨 노이즈를 크게 감소시키고, 기존의 PL 및 신뢰도 기반 PL보다 더 높은 가짜 라벨 정확도를 달성한다.
• CIFAR-10/100에서 UPS는 다양한 라벨 체계 및 백본에 대해 최첨단 SSL 방법과 비교해 경쟁력 있거나 우수한 오류율을 달성한다.
• 제한된 라벨 데이터에서도 UCF-101(비디오 도메인)과 Pascal VOC2007(다중 라벨)에서 UPS가 기준선보다 우수하다.
• 절삭 연구는 불확실성 인식 선택과 음수 학습이 함께 큰 오류 감소에 기여하며, UPS가 하이퍼파라미터에 대한 강건성을 제공함을 보여준다.
• UPS는 여러 불확실성 추정 방법과 호환되며 도메인 특화 증강에 의존하지 않으므로 광범위한 모달리티 적용 가능성을 지원한다.