[논문 리뷰] CLS: Cross Labeling Supervision for Semi-Supervised Learning

Yao Yao, Junyi Shen외 3명|arXiv (Cornell University)|2022. 02. 17.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 확률적 가짜 레이블 생성 과정에서 확증 편향을 줄이기 위해 상호 보완 레이블과 두 개의 독립적으로 초기화된 네트워크 간의 공훈련(co-training)을 도입한 반감독 학습 프레임워크인 Cross Labeling Supervision(CLS)을 제안한다. 예측 신뢰도 기반으로 적응형 샘플 가중치를 부여하고 상호 감독을 가능하게 함으로써, CIFAR-10과 CIFAR-100에서 최신 기술(SOTA) 성능을 달성한다. 기존의 FixMatch와 같은 방법들을 능가한다.

ABSTRACT

It is well known that the success of deep neural networks is greatly attributed to large-scale labeled datasets. However, it can be extremely time-consuming and laborious to collect sufficient high-quality labeled data in most practical applications. Semi-supervised learning (SSL) provides an effective solution to reduce the cost of labeling by simultaneously leveraging both labeled and unlabeled data. In this work, we present Cross Labeling Supervision (CLS), a framework that generalizes the typical pseudo-labeling process. Based on FixMatch, where a pseudo label is generated from a weakly-augmented sample to teach the prediction on a strong augmentation of the same input sample, CLS allows the creation of both pseudo and complementary labels to support both positive and negative learning. To mitigate the confirmation bias of self-labeling and boost the tolerance to false labels, two different initialized networks with the same structure are trained simultaneously. Each network utilizes high-confidence labels from the other network as additional supervision signals. During the label generation phase, adaptive sample weights are assigned to artificial labels according to their prediction confidence. The sample weight plays two roles: quantify the generated labels' quality and reduce the disruption of inaccurate labels on network training. Experimental results on the semi-supervised classification task show that our framework outperforms existing approaches by large margins on the CIFAR-10 and CIFAR-100 datasets.

연구 동기 및 목표

• 자기학습 기반 반감독 학습에서 잘못된 가짜 레이블로 인해 모델 성능이 저하되는 확증 편향 문제를 해결하기 위해.
• 부정적 학습을 지원하기 위해 보완 레이블을 도입하여 노이즈가 있는 인위적 레이블에 대한 강건성을 향상시키기 위해.
• 높은 신뢰도의 가짜 레이블에 대한 의존도를 줄이기 위해 두 개의 독립적으로 초기화된 네트워크 간의 공훈련을 통해.
• 예측 신뢰도 기반으로 인위적 레이블에 적응형 샘플 가중치를 할당하여 일반화 성능을 향상시키기 위해.
• 표준 반감독 이미지 분류 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• CLS는 두 개의 병렬로 구동되며, 서로 다른 초기화를 가지는 네트워크를 도입하여, 각각의 네트워크가 상대방의 가짜 레이블과 보완 레이블을 생성한다.
• 각 네트워크는 상대방 네트워크의 고신뢰도 예측 결과를 추가적인 감독 신호로 사용하여 공훈련을 수행하고, 확증 편향을 줄인다.
• 보완 레이블은 상대 네트워크 출력에서 신뢰도가 가장 낮은 상위-k 클래스를 취하여 생성되며, 이는 부정적 학습을 지원한다.
• 가짜 레이블에 대해 예측 신뢰도 기반으로 적응형 샘플 가중치를 할당하여, 저신뢰도 또는 잘못된 레이블의 영향을 줄인다.
• 프레임워크는 일致성 정규화와 가짜 레이블링을 결합하며, 강한 증강 기법을 학습에 사용하고, 약한 증강 기법을 레이블 생성에 사용한다.
• 학습 과정은 라벨 데이터, 가짜 레이블, 보완 레이블을 모두 고려한 신뢰도 기반 가중치를 적용하여 두 네트워크를 번갈아가며 업데이트한다.

실험 결과

연구 질문

• RQ1 서로 다른 네트워크를 독립적으로 학습시킨 후 상호 감독을 통해 반감독 학습에서 확증 편향을 줄일 수 있는가?
• RQ2 보완 레이블의 포함이 노이즈가 있는 가짜 레이블에 대한 모델의 강건성을 어떻게 향상시키는가?
• RQ3 예측 신뢰도 기반 적응형 샘플 가중치가 학습 안정성과 성능 향상에 얼마나 기여하는가?
• RQ4 보완 레이블을 포함한 공훈련이 저자료 환경에서 기존의 가짜 레이블링보다 더 나은 일반화 성능을 보이는가?
• RQ5 표준 벤치마크에서 최신 기술인 FixMatch와 MixMatch와 비교해 CLS는 어떻게 성능을 내는가?

주요 결과

• CLS는 표준 반감독 학습 설정 하에서 CIFAR-10에서 FixMatch를 상당한 격차로 능가하는 최신 기술 성능을 달성한다.
• CIFAR-100에서는 기존 방법들보다 뛰어난 정확도를 기록하여 고차원 레이블 공간에서 강력한 일반화 능력을 입증한다.
• 보완 레이블과 공훈련의 도입으로 저신뢰도 가짜 레이블의 부정적 영향이 크게 감소하여 강건성이 향상된다.
• 신뢰도 기반 적응형 샘플 가중치가 학습 중 잘못된 레이블의 영향을 효과적으로 억제한다.
• 이중 네트워크 공훈련 메커니즘이 정규화 효과를 제공하여 학습 안정성과 수렴 성능을 향상시킨다.
• 실증 결과는 CLS가 여러 시행과 데이터 분할에 걸쳐 일관되게 성능 향상을 보이며, 높은 신뢰성을 확보하고 있음을 확인한다.