[논문 리뷰] Incremental Self-training for Semi-supervised Learning

Jifeng Guo, Zhulin Liu외 2명|arXiv (Cornell University)|2024. 04. 14.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

Incremental Self-training (IST)은 라벨이 없는 데이터를 클러스터와 순차적 배치로 처리하고, 확신도가 높은 샘플을 우선적으로 다룸으로써 정확도와 학습 속도를 개선하고, 이미지 분류 과제에서 베이스라인 및 일부 SOTA를 능가합니다.

ABSTRACT

Semi-supervised learning provides a solution to reduce the dependency of machine learning on labeled data. As one of the efficient semi-supervised techniques, self-training (ST) has received increasing attention. Several advancements have emerged to address challenges associated with noisy pseudo-labels. Previous works on self-training acknowledge the importance of unlabeled data but have not delved into their efficient utilization, nor have they paid attention to the problem of high time consumption caused by iterative learning. This paper proposes Incremental Self-training (IST) for semi-supervised learning to fill these gaps. Unlike ST, which processes all data indiscriminately, IST processes data in batches and priority assigns pseudo-labels to unlabeled samples with high certainty. Then, it processes the data around the decision boundary after the model is stabilized, enhancing classifier performance. Our IST is simple yet effective and fits existing self-training-based semi-supervised learning methods. We verify the proposed IST on five datasets and two types of backbone, effectively improving the recognition accuracy and learning speed. Significantly, it outperforms state-of-the-art competitors on three challenging image classification tasks.

연구 동기 및 목표

• SSL에서 라벨링 데이터 의존성을 줄이고 비라벨링 데이터를 효율적으로 활용하도록 동기를 부여합니다.
• 확신도에 따라 클러스터링으로 비라벨링 데이터를 구분하기 위한 IST를 제안합니다.
• 수렴 속도를 높이기 위해 배치 단위의 순차 데이터 처리를 가능하게 합니다.
• 기존의 Self-training 백본 및 데이터셋과의 IST 호환성을 입증합니다.

제안 방법

• 초기화 시 비라벨링 데이터를 클러스터링하여 확신도 기반 질의 리스트를 생성합니다.
• 높은 확신 샘플부터 시작하여 우선순위 순서로 가짜 라벨을 할당합니다.
• 분류기를 업데이트하기 위해 비라벨링 데이터를 순차적 배치로 처리합니다.
• 성능과 속도에 대한 영향을 연구하기 위해 여러 클러스터링 방법을 사용합니다.
• IST의 일반성을 보여주기 위해 반복적(backbone)과 비반복형 백본을 비교합니다.

실험 결과

연구 질문

• RQ1 증분적이며 클러스터링된 배치 기반 의사 라벨링이 표준 자기 훈련보다 SSL의 정확도와 수렴 속도를 개선할 수 있는가?
• RQ2 클러스터링 방법의 선택이 IST의 성능 및 훈련 시간에 어떤 영향을 미치는가?
• RQ3 IST가 반복적 및 비반복적 백본 설정 전반에서 견고성을 유지하거나 개선하는가?

주요 결과

Method	Cluster&List	Acc.(%)	Time(s)
ST		89.30	57321.65
IST	w/ K-Means	93.17	44796.71
IST	w/ MiniBMean	93.76	44076.97
IST	w/ Meanshift	94.25	157669.75
ST		86.87	156.63
IST	w/ BIRCH	88.97	99.40
IST	w/ K-Means	90.60	97.85
IST	w/ MeanShift	93.28	91.94

• IST는 테스트 설정 전체에서 표준 자기 훈련 대비 평균 정확도 향상 6.41%를 달성합니다.
• IST는 어려운 이미지 데이터셋에서 최첨단 방법 대비 4% 향상을 달성합니다.
• IST는 클러스터 전반에서 표준 자기 훈련 대비 학습 시간을 대략 40-50% 단축합니다.
• 다른 클러스터링 방법은 정확도와 시간의 상충을 다르게 보이며; MeanShift는 정확도를 높일 수 있지만 클러스터링 시간이 급격히 증가할 수 있습니다.
• IST는 정확도와 수렴을 효과적으로 향상시키고 특정 백본에서 ST에서 나타나는 일부 정확도 저하를 피할 수 있습니다.