[논문 리뷰] A Realistic Evaluation of Semi-Supervised Learning for Fine-Grained Classification

Jong-Chyi Su, Zezhou Cheng외 1명|arXiv (Cornell University)|2021. 04. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 7

한 줄 요약

이 논문은 장기적 클래스 분포와 비정상 클래스 레이블이 포함된 현실적인 세분화된 분류 설정에서 준지도 학습(SSL)을 평가한다. 연구 결과, SSL을 처음부터 학습할 경우 비정상 클래스 데이터가 성능 향상에 기여하지만, 사전 훈련된 전문가 모델을 사용할 경우, 미세조정과 휘발성 기반 자기학습 방식의 전이 학습이 SSL보다 훨씬 더 효과적이고 강력한 것으로 나타났다. 특히 비정상 클래스 데이터가 존재할 경우 더욱 두드러진다.

ABSTRACT

We evaluate the effectiveness of semi-supervised learning (SSL) on a realistic benchmark where data exhibits considerable class imbalance and contains images from novel classes. Our benchmark consists of two fine-grained classification datasets obtained by sampling classes from the Aves and Fungi taxonomy. We find that recently proposed SSL methods provide significant benefits, and can effectively use out-of-class data to improve performance when deep networks are trained from scratch. Yet their performance pales in comparison to a transfer learning baseline, an alternative approach for learning from a few examples. Furthermore, in the transfer setting, while existing SSL methods provide improvements, the presence of out-of-class is often detrimental. In this setting, standard fine-tuning followed by distillation-based self-training is the most robust. Our work suggests that semi-supervised learning with experts on realistic datasets may require different strategies than those currently prevalent in the literature.

연구 동기 및 목표

• 클래스 불균형과 비정상 클래스 데이터가 존재하는 현실적인 상황에서 준지도 학습(SSL)의 효과성을 평가하는 것.
• 사전 훈련된 모델을 사용하는 경우와 처음부터 학습하는 경우의 SSL 성능를 비교하는 것.
• 실제 설정에서 비정상 클래스 레이블이 없는 데이터가 SSL 성능에 개선 또는 악영향을 미치는지 조사하는 것.
• 실제 데이터 분포와 도메인 이동 상황에서 세분화된 분류를 위한 강력한 SSL 전략을 규명하는 것.

제안 방법

• 연구자는 Aves와 Fungi 분류계에서 클래스를 샘플링하여 장기적 클래스 분포와 비정상 클래스 포함된 레이블이 없는 데이터를 포함한 두 가지 벤치마크 데이터셋(Semi-Aves와 Semi-Fungi)을 구축하였다.
• Pseudo-Label, Curriculum Pseudo-Label, FixMatch, 그리고 휘발성 기반 자기학습 방식을 포함한 여러 SSL 방법을 평가하였으며, ImageNet과 iNaturalist에서 사전 훈련된 모델을 사용한 경우와 처음부터 학습한 경우를 모두 고려하였다.
• 성능 평가는 도메인 내 레이블이 없는 데이터($U_{in}$)와 도메인 내 및 비정상 클래스 데이터를 모두 포함한 데이터($U_{in}+U_{out}$)를 사용하여 평가하였으며, 임계값 설정과 휘발성 손실에 대한 분석도 수행하였다.
• 재현 가능성을 확보하기 위해 FixMatch에 대해 공식 코드와 재현된 코드를 모두 사용하였으며, 각 구현 방식에서의 최고 성능 결과를 보고하였다.
• 모델의 불확실성은 예측 신뢰도, 엔트로피, 휘발성 손실을 통해 분석하여 SSL 모델이 도메인 내와 비정상 클래스 데이터를 어떻게 처리하는지 이해하고자 하였다.
• 실험은 정규화된 베이스라인, SSL 방법, 그리고 비정상 클래스 데이터 유무에 따라 미세조정 및 휘발성 기반 자기학습 방식을 포함한 전이 학습을 비교하였으며, 주요 평가 지표로 정확도를 사용하였다.

Figure 1: Accuracy of semi-supervised learning (SSL) algorithms on the Semi-Aves and Semi-Fungi datasets (see Fig. 2 ) using (i) different pre-trained models, and (ii) in-class ( $U_{in}$ ) and out-of-class ( $U_{in}+U_{out}$ ) unlabeled data. The performances of the supervised baseline and supervis

실험 결과

연구 질문

• RQ1 장기적 분포와 비정상 이미지가 포함된 세분화된 분류에서 준지도 학습이 성능 향상에 효과적인가?
• RQ2 사전 훈련된 모델을 사용할 경우 비정상 클래스 레이블이 없는 데이터의 존재가 SSL 성능에 어떤 영향을 미치는가? 특히 처음부터 학습하는 경우와 대비하여.
• RQ3 도메인 이동이 존재하는 현실적인 벤치마크에서 기존 SSL 방법이 비정상 클래스 데이터를 안정적으로 활용할 수 있는가?
• RQ4 소수의 레이블이 존재하는 설정에서, 미세조정과 휘발성 기반 자기학습 방식을 포함한 전이 학습이 처음부터 학습하는 SSL보다 더 효과적인가?

주요 결과

• 처음부터 학습하는 경우, 자기지도 학습 기반 사전 훈련 후 휘발성 기반 자기학습 방식이 가장 높은 성능를 기록하였으며, 비정상 클래스 데이터의 영향을 크게 받았다.
• 전이 학습 설정에서, 미세조정과 휘발성 기반 자기학습 방식이 모든 SSL 방법보다 뛰어난 성능를 기록하였으며, Semi-Aves에서 5,000개의 레이블로 97.2%의 정확도를 달성하여, 처음부터 학습한 FixMatch조차도 뛰어넘었다.
• 전이 학습 설정에서 비정상 클래스 레이블이 없는 데이터의 존재는 성능에 해로운 영향을 미치는 경우가 많았으며, 특히 FixMatch와 Pseudo-Label와 같은 방법에서 두드러졌다.
• 비정상 클래스 데이터가 존재하는 상황에서 휘발성 기반 자기학습 방식이 가장 강력한 SSL 방법이었으며, 다양한 설정에서 안정적인 성능를 유지하였다.
• Pseudo-Label는 임계값 설정에 민감했으며, 높은 임계값을 설정할수록 비정상 클래스 데이터의 악영향을 줄일 수 있었지만, 사용 가능한 레이블이 없는 데이터의 양도 감소하였다.
• 비정상 클래스 데이터가 존재하는 현실적인 설정에서조차도, 어떤 SSL 방법도 비정상 클래스 데이터를 안정적으로 활용하지 못하였으며, 이는 현재 접근 방식이 현실적 환경에서의 핵심 한계를 보여준다.

Figure 2: The proposed benchmark for semi-supervised learning. The benchmark contains two datasets, with classes from the Aves and Fungi taxa respectively. Each represents a 200-way classification task and the training set contains (i) labeled images from these classes $L_{in}$ , (ii) unlabeled imag