[논문 리뷰] Dash: Semi-Supervised Learning with Dynamic Thresholding

Yi Xu, Lei Shang외 6명|arXiv (Cornell University)|2021. 09. 01.

Machine Learning and Data Classification인용 수 52

한 줄 요약

Dash는 SSL 학습 중 라벨이 없는 데이터를 선택하기 위한 동적 임계값 메커니즘을 도입하여 각 반복에서 사용할 가짜 라벨 예제의 구성을 적응시킴으로써 성능을 개선하며 이론적 수렴 보장을 제공합니다.

ABSTRACT

While semi-supervised learning (SSL) has received tremendous attentions in many machine learning tasks due to its successful use of unlabeled data, existing SSL algorithms use either all unlabeled examples or the unlabeled examples with a fixed high-confidence prediction during the training progress. However, it is possible that too many correct/wrong pseudo labeled examples are eliminated/selected. In this work we develop a simple yet powerful framework, whose key idea is to select a subset of training examples from the unlabeled data when performing existing SSL methods so that only the unlabeled examples with pseudo labels related to the labeled data will be used to train models. The selection is performed at each updating iteration by only keeping the examples whose losses are smaller than a given threshold that is dynamically adjusted through the iteration. Our proposed approach, Dash, enjoys its adaptivity in terms of unlabeled data selection and its theoretical guarantee. Specifically, we theoretically establish the convergence rate of Dash from the view of non-convex optimization. Finally, we empirically demonstrate the effectiveness of the proposed method in comparison with state-of-the-art over benchmarks.

연구 동기 및 목표

• 고정된 높은 신뢰도 임계값을 피함으로써 유용한 unlabeled 데이터를 버리지 않도록 SSL을 개선하는 것을 동기로 삼는다.
• 감소하는 손실 임계값에 기초하여 각 반복마다 unlabeled 데이터를 선택하는 동적 임계값 프레임워크(Dash)를 제안한다.
• 비볼록 설정에서 Dash 알고리즘에 대한 이론적 수렴 보장을 제시한다.
• 이미지 분류 벤치마크에서 Dash가 최첨단 SSL 방법들에 비해 실험적으로 효과적임을 입증한다.

제안 방법

• Dash는 손실이 동적 임계값 rho_t 이하인 예제를 유지하여 업데이트마다 unlabeled 데이터의 부분집합을 선택한다.
• 임계값 rho_t는 rho_t = C * gamma^{-(t-1)} * rho_hat로 설정되며 반복이 진행될수록 감소한다.
• 초기 워밍업 단계에서 rho_hat를 추정하기 위해 라벨이 있는 데이터로 학습하고, 이후 선택 단계에서는 FixMatch의 가짜 라벨을 사용한 unlabeled 데이터를 이용한다.
• 확률적 기울기는 비지도 손실 f_u(w; xi^u) <= rho_t인 라벨이 없는 예제만 사용하여 라벨이 있는 데이터 손실과 결합하여 계산된다.
• Dash는 FixMatch와 같은 기존 SSL 파이프라인에 통합될 수 있으며 표준 가정(PL 조건) 하에서 비점근적 수렴 보장을 제공한다.
• 이론적 결과는 비볼록 가정하에서 감독 SGD 유사 속도에 해당하는 샘플 복잡도와 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 데이터가 여러 분포의 혼합에서 올 때도 명확한 수렴을 보장하는 SSL 알고리즘을 설계할 수 있는가?
• RQ2 감소하는 손실 임계값을 통해 라벨이 없는 데이터를 동적으로 선택하는 것이 FixMatch와 같은 고정 임계값 방법보다 SSL 성능을 향상시키는가?
• RQ3 정확한 가짜 라벨의 포함과 잘못된 라벨의 배제를 균형 있게 하도록 동적 임계값이 어떻게 구성되고 추정되어야 하는가?
• RQ4 이와 같은 동적 임계값 SSL 방법의 이론적 수렴 보장과 샘플 복잡도는 무엇인가?

주요 결과

• Dash는 제안된 동적 임계값 SSL에 대해 비볼록 설정에서 비점근적 수렴 보장을 달성한다.
• 실험적으로 Dash는 CIFAR-10, CIFAR-100, SVHN, STL-10 등의 표준 이미지 분류 벤치마크에서 다양한 레이블 설정에 대해 다수의 최첨단 SSL 방법들보다 우수한 성능을 보인다.
• Dash는 학습 초기에는 더 많은 정확한 가짜 라벨이 붙은 unlabeled 예제를 유지하고, 후반 에포크에서는 FixMatch와 같은 고정 임계값 방법에 비해 오답 예제를 더 적극적으로 줄인다.
• 이론적 결과는 Dash의 수렴이 높은 확률로 보장되며 O(1/epsilon)의 구체적인 샘플 복잡도 상한을 제공한다.
• 다양한 증강 규칙(CTA, RA)을 사용한 실험은 Dash의 FixMatch 기반 파이프라인과의 호환성과 경쟁력 있는 이점을 보여준다.