[논문 리뷰] CoSSL: Co-Learning of Representation and Classifier for Imbalanced Semi-Supervised Learning

Yue Fan, Dengxin Dai외 2명|arXiv (Cornell University)|2021. 12. 08.

Imbalanced Data Classification Techniques인용 수 5

한 줄 요약

CoSSL는 표현 학습과 분류기 학습을 분리하면서도 공유 인코더와 가짜 레이블 생성을 통해 이를 연결하는 공학 학습 프레임워크를 제안한다. 이는 데이터 불균형 상황에서의 준지도 학습에서 성능을 크게 향상시킨다. 또한 비균형 데이터를 활용한 일반화 능력을 향상시키기 위해 꼬리 클래스 특징 강화(TFE)를 도입하여, CIFAR-10, CIFAR-100, ImageNet, Food-101에서 다양한 이격된 테스트 분포 조건에서도 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel co-learning framework (CoSSL) with decoupled representation learning and classifier learning for imbalanced SSL. To handle the data imbalance, we devise Tail-class Feature Enhancement (TFE) for classifier learning. Furthermore, the current evaluation protocol for imbalanced SSL focuses only on balanced test sets, which has limited practicality in real-world scenarios. Therefore, we further conduct a comprehensive evaluation under various shifted test distributions. In experiments, we show that our approach outperforms other methods over a large range of shifted distributions, achieving state-of-the-art performance on benchmark datasets ranging from CIFAR-10, CIFAR-100, ImageNet, to Food-101. Our code will be made publicly available.

연구 동기 및 목표

• 표준 준지도 학습이 데이터 불균형으로 인해 실패하는 비균형 데이터 분포 하에서 준지도 학습의 격차를 메우기 위해.
• 수동 재균형 조정에 의존하지 않고도 라벨이 있는 데이터와 없는 데이터를 효과적으로 활용할 수 있는 프레임워크를 개발하기 위해.
• 실제 운영 환경을 반영하기 위해 이격된 테스트 분포에서의 모델 강건성 테스트를 위한 새로운 평가 프로토콜을 제안하기 위해.
• 비균형 설정에서 꼬리 클래스의 분류기 학습을 향상시키기 위해, 비라벨 데이터를 데이터 증강의 원천으로 활용하는 방법을 설계하기 위해.

제안 방법

• CoSSL는 표현 학습과 분류기 학습을 분리하여 기울기 교환 없이 별도로 학습시키지만, 공유 인코더와 가짜 레이블 생성을 통해 연결한다.
• 프레임워크는 공유 인코더를 사용하여 표현 학습의 특징를 분류기 학습으로 전달함으로써 특징 품질과 일반화 능력을 향상시킨다.
• 강건한 분류기가 생성한 가짜 레이블을 사용하여 표현 학습을 감독함으로써 반복적인 정교화를 통해 자가 향상이 가능하다.
• 꼬리 클래스 특징 강화(TFE)는 분류기 학습 중에 부족한 클래스에 대해 클래스별로 다른 혼합 비율을 도입하여 데이터 다양성을 증가시킨다.
• TFE는 융합 비율 λ를 μ와 1 사이에서 균일하게 샘플링하여 베타 분포 변형보다 성능을 향상시키며, 레이블 혼합을 방지함으로써 예측 신뢰도를 유지한다.
• 강력한 준지도 학습 기반 모델(FixMatch 등)을 TFE와 함께 공학 학습 루프에 통합하여 표현 학습과 분류기 학습 간 상호 향상이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 표현 학습과 분류기 학습을 분리한 공학 학습 프레임워크가 비균형 준지도 학습에서도 강력한 성능을 달성할 수 있는가?
• RQ2 비균형 설정에서 꼬리 클래스의 분류기 강건성을 향상시키기 위해 비라벨 데이터를 어떻게 효과적으로 활용할 수 있는가?
• RQ3 이격된 테스트 분포에서의 평가가 표준 균일 테스트 프로토콜에서 포착하지 못한 제약을 드러내는가?
• RQ4 특징 혼합 설계 선택 사항(예: 혼합 비율, 융합 전략, 레이블 혼합) 중 비균형 준지도 학습에서 성능에 가장 큰 영향을 미치는 요소는 무엇인가?
• RQ5 다양한 벤치마크 데이터셋에서 고 및 극심한 클래스 불균형 비율 조건 하에서도 기존 최신 기술(SOTA) 방법을 초월할 수 있는 프레임워크를 설계할 수 있는가?

주요 결과

• CoSSL는 다양한 이격된 테스트 분포 조건 하에서 CIFAR-10, CIFAR-100, ImageNet, Food-101에서 최신 기술 성능을 달성하며, 특히 고불균형 비율 조건에서 뛰어난 성능을 보였다.
• 공학 학습 프레임워크는 공동 학습 및 이중 단계 학습보다 우수하며, 표현 학습이 분류기 학습의 기울기를 통해 업데이트될 경우 정확도가 3.78% 감소함을 확인했다.
• 클래스별 혼합 비율을 도입한 TFE는 비율이 없는 변형 대비 2.34% 향상된 성능을 보여, 꼬리 클래스 일반화에 있어 중요성을 입증했다.
• TFE에서 레이블 혼합을 방지함으로써 7.00%의 성능 저하가 발생함을 확인하여, 예측 신뢰도 유지가 강건한 분류기 학습에 핵심적임을 확인했다.
• 모델은 알려진 이격된 테스트 분포뿐 아니라 알려지지 않은 이격된 분포에서도 강력한 성능 유지를 보였으며, 극적으로 다른 분포로의 일반화 능력에 한계가 있음을 드러냈다.
• CoSSL를 적용하더라도 훈련 분포와 크게 떨어진 테스트 분포에서는 성능 저하가 심각하게 발생함을 확인하여, 향후 강건성 향상의 필요성을 시사했다.