[논문 리뷰] PercentMatch: Percentile-based Dynamic Thresholding for Multi-Label Semi-Supervised Classification

Junxiang Huang, Alexander C. Huang외 2명|arXiv (Cornell University)|2022. 08. 30.

Text and Document Classification Technologies인용 수 5

한 줄 요약

PercentMatch는 다중 레이블 세미-서프로바이드드 러닝을 위한 백분위수 기반 동적 임계값 설정 방법을 제안하며, 학습 과정에서 긍정 및 부정 페시오-레이블 임계값을 적응적으로 조정함으로써 초기 단계 예측에서 발생하는 노이즈를 감소시킨다. 이는 Pascal VOC2007에서 최신 기술 수준의 성능을 달성하였고, MS-COCO에서는 FixMatch 및 이전 방법들과 비교해 개선된 mAP 및 AUC 점수를 기록하였다.

ABSTRACT

While much of recent study in semi-supervised learning (SSL) has achieved strong performance on single-label classification problems, an equally important yet underexplored problem is how to leverage the advantage of unlabeled data in multi-label classification tasks. To extend the success of SSL to multi-label classification, we first analyze with illustrative examples to get some intuition about the extra challenges exist in multi-label classification. Based on the analysis, we then propose PercentMatch, a percentile-based threshold adjusting scheme, to dynamically alter the score thresholds of positive and negative pseudo-labels for each class during the training, as well as dynamic unlabeled loss weights that further reduces noise from early-stage unlabeled predictions. Without loss of simplicity, we achieve strong performance on Pascal VOC2007 and MS-COCO datasets when compared to recent SSL methods.

연구 동기 및 목표

• 단일 레이블 학습에서 다중 레이블 분류로의 세미-서프로바이드드 러닝 확장에 있어 아직 탐색되지 않은 과제를 해결하기 위해, 클래스 간 독립성과 극심한 클래스 불균형으로 인해 페시오-레이블링이 복잡해지는 문제를 다루기 위함이다.
• 클래스별 백분위수 분포를 기반으로 한 동적 스코어 임계값 조정을 통해 초기 학습 단계에서 잘못된 페시오-레이블로 인한 노이즈를 감소시키기 위함이다.
• FixMatch와 같은 단일 레이블 SSL 방법을 자연스럽고 확장 가능한 임계값 설정 메커니즘을 통해 다중 레이블 설정으로 일반화하기 위함이다.
• 희귀 클래스가 부족한 불균형한 다중 레이블 데이터셋인 MS-COCO와 같은 환경에서 모델 수렴성과 성능을 향상시키기 위함이다.
• 다중 레이블 세미-서프로바이드드 분류를 위한 새로운 벤치마크 결과를 MS-COCO에 설정하기 위함이며, 이는 이전에 관련 벤치마크가 존재하지 않았기 때문이다.

제안 방법

• PercentMatch는 긍정용(κ₊ = 0.98), 부정용(κ₋ = 0.1) 백분위수 기반 임계값을 사용하여, 클래스별 스코어 분포에 맞게 동적으로 신뢰도 임계값을 설정한다.
• 긍정 및 부정 임계값 스코어 간의 차이에 비례하여 가중치가 조정되는 적응형 무라벨 손실을 도입함으로써, 초기 학습 단계에서 저신뢰도 예측으로 인한 노이즈를 감소시킨다.
• FixMatch의 테이치어-스터디언트 아키텍처를 유지하나, 고정된 신뢰도 임계값 대신 클래스별로 동적 백분위수 기반 임계값을 적용한다.
• 표준 데이터 증강(중앙 컷, 플립, 컷아웃)을 적용하고, ResNet50 백본에서 Adam 옵티마이저를 사용한 일주기 학습률 스케줄링을 사용한다.
• 모델은 다중 레이블 디코더 헤드를 사용하며, 입력을 ImageNet 통계로 정규화한다. 라벨된 배치 크기와 무라벨 배치 크기(μ)는 각각 36과 1로 설정된다.
• 임계값 포화는 균일한 임계값 갭(Υ₀=0.5, Υₛ=0.55)을 통해 제어되어, 학습이 진행됨에 따라 점진적으로 무라벨 데이터가 포함되도록 한다.

실험 결과

연구 질문

• RQ1 클래스 간 독립성과 불균형 문제로 인해 페시오-레이블링이 복잡해지는 상황에서, 어떻게 효과적으로 단일 레이블 학습에서 다중 레이블 분류로의 세미-서프로바이드드 러닝을 확장할 수 있는가?
• RQ2 동적 백분위수 기반 임계값 설정이, 특히 초기 학습 단계에서 페시오-레이블의 신뢰성 향상에 기여할 수 있는가?
• RQ3 임계값 차이에 기반한 적응형 손실 가중치는 노이즈가 많고 불균형한 다중 레이블 환경에서 모델의 강건성과 수렴성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 Pascal VOC2007 및 MS-COCO와 같은 표준 다중 레이블 벤치마크에서 고정 임계값 기반 기준인 FixMatch보다 성능이 뛰어나게 되는가?
• RQ5 PercentMatch는 이전에 SSL 벤치마크가 존재하지 않았던, 극도로 불균형한 다중 레이블 데이터셋인 MS-COCO에서 새로운 최신 기술 수준의 결과를 달성할 수 있는가?

주요 결과

• 20% 라벨된 데이터를 가진 Pascal VOC2007에서 PercentMatch는 이전 최신 기술 수준 방법보다 2.04% 높은 mAP 성능을 기록하였으며, 최종 mAP는 41.33%였다.
• 10% 라벨된 데이터를 사용했을 때 PercentMatch는 이전 최신 기술 수준의 mAP 점수를 그대로 유지하여, 매우 제한된 지도 신호 조건에서도 뛰어난 성능을 보였다.
• MS-COCO에서 PercentMatch는 재현된 FixMatch를 모든 라벨 비율(2%, 5%, 10%)에서 일관되게 능가했으며, 저샷 설정에서 뚜렷한 성능 향상을 보였다.
• 10% 라벨된 데이터로 MS-COCO에서 PercentMatch는 mAP 32.29%를 기록하여, 기본 모델인 FixMatch 성능을 크게 향상시켰다.
• 초기 설정값에 대한 민감도가 낮아 다양한 하이퍼파라미터 설정에서도 성능가 안정적이었으며, 백분위수 임계값이나 임계값 갭 설정에 크게 의존하지 않는다는 점을 시사했다.
• 동적 임계값 설정과 적응형 손실 가중치 도입으로 인해 초기 학습 단계에서 잘못된 페시오-레이블로 인한 노이즈가 감소하고 수렴 속도가 빨라졌다.