[논문 리뷰] ConMatch: Semi-Supervised Learning with Confidence-Guided Consistency Regularization

Jiwon Kim, Youngjo Min외 5명|arXiv (Cornell University)|2022. 08. 18.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

ConMatch는 강한 증강을 통해 생성된 두 개의 시각 간 일致성 손실를 학습된 신뢰도 측정값을 기반으로 가중치를 적용하는 신뢰도 유도 일致성 정규화 프레임워크를 제안한다. 네트워크 내부에 파arametric 신뢰도 추정기와 단계별 훈련 전략을 통합함으로써, 최소한의 계산 오버헤드로 CIFAR-10, CIFAR-100 및 SVHN 벤치마크에서 최신 기술 수준(SOTA)의 정확도를 달성한다.

ABSTRACT

We present a novel semi-supervised learning framework that intelligently leverages the consistency regularization between the model's predictions from two strongly-augmented views of an image, weighted by a confidence of pseudo-label, dubbed ConMatch. While the latest semi-supervised learning methods use weakly- and strongly-augmented views of an image to define a directional consistency loss, how to define such direction for the consistency regularization between two strongly-augmented views remains unexplored. To account for this, we present novel confidence measures for pseudo-labels from strongly-augmented views by means of weakly-augmented view as an anchor in non-parametric and parametric approaches. Especially, in parametric approach, we present, for the first time, to learn the confidence of pseudo-label within the networks, which is learned with backbone model in an end-to-end manner. In addition, we also present a stage-wise training to boost the convergence of training. When incorporated in existing semi-supervised learners, ConMatch consistently boosts the performance. We conduct experiments to demonstrate the effectiveness of our ConMatch over the latest methods and provide extensive ablation studies. Code has been made publicly available at https://github.com/JiwonCocoder/ConMatch.

연구 동기 및 목표

• 준지도 학습에서 두 개의 강한 증강 시각 간 방향성 있는 일치 정규화의 부족을 해결하기 위해.
• 약한 증강 시각을 기준으로 하여 강한 증강 이미지의 가짜 라벨 신뢰도 추정을 향상시키기 위해.
• 종단간 최적화를 위한 네트워크 내부에 파arametric 신뢰도 학습 메커니즘을 도입하기 위해.
• 단계별 훈련 전략을 통해 수렴 속도를 가속화하기 위해.
• 기존 준지도 학습자에 대한 아키텍처 변경 없이도 성능을 향상시킬 수 있는 플러그 앤 플레이 모듈을 제공하기 위해.

제안 방법

• 강한 증강 시각 간 일치 손실를 가짜 라벨의 신뢰도 기반으로 가중치를 적용하는 신뢰도 유도 일치 정규화를 도입한다.
• 약한 증강과 강한 증강의 특징 간 유사도를 사용하는 비모수적 신뢰도 측정법을 제안한다.
• 백본 네트워크와 종단간 훈련되는 파arametric 신뢰도 추정기를 도입하여 신뢰도 점수를 예측한다.
• 일치 정규화의 강도를 점진적으로 증가시키는 단계별 훈련 전략을 적용한다.
• 입력당 하나의 약한 증강 시각과 두 개의 강한 증강 시각을 갖는 이중 브랜치 아키텍처를 사용한다.
• 약한 증강 시각과 하나의 강한 증강 시각 간, 그리고 두 개의 강한 증강 시각 간에 신뢰도 가중치를 적용한 일치 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 준지도 학습에서 두 개의 강한 증강 시각 간에 일치 정규화를 효과적으로 적용할 수 있는가?
• RQ2 약한 증강 시각에서 유도된 신뢰도 측정법이 강한 증강 시각의 가짜 라벨 신뢰도 향상에 기여하는가?
• RQ3 네트워크 내부에서의 종단간 신뢰도 학습이 일반화 능력과 수렴 속도 향상에 기여하는가?
• RQ4 단계별 훈련 스케줄이 모델 성능 향상과 훈련 안정성 향상에 기여하는가?
• RQ5 표준 벤치마크에서 ConMatch는 최신 기술 수준의 방법들과 비교해 정확도와 강인성 측면에서 어떻게 성능을 내는가?

주요 결과

• ConMatch는 40개의 라벨 데이터를 사용할 때 CIFAR-10, CIFAR-100 및 SVHN에서 FixMatch와 FlexMatch를 능가하는 최신 기술 수준의 성능을 달성한다.
• ConMatch의 신뢰도 추정기는 AUC-ROC가 0.95로 FixMatch 및 FlexMatch보다 높아, 고신뢰도와 저신뢰도 샘플을 구분하는 능력이 뛰어나다.
• 파arametric 신뢰도 추정기는 비모수 기반 기준 대비 CIFAR-10에서 0.5%의 정확도 향상을 이끌어내어 성능 향상에 기여한다.
• t-SNE 시각화 결과, ConMatch의 신뢰도 점수는 고신뢰도와 저신뢰도 샘플을 명확히 분리하는 반면, FixMatch 및 FlexMatch는 잘못 군집된 샘플에 대해 모호한 신뢰도를 부여함을 확인했다.
• 단계별 훈련 전략은 수렴 속도를 가속화하여 특징 공간 내에서 라벨이 있는 샘플과 약한 증강 샘플의 군집화를 빠르게 이끌어낸다.
• 절단 실험 결과, 비모수적 신뢰도 접근법에서 특징 간余弦 유사도가 가장 높은 성능(5.02% 오차)을 기록했다.