[논문 리뷰] Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning.

Young‐Taek Oh, Dong-Jin Kim외 1명|arXiv (Cornell University)|2021. 06. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 8

한 줄 요약

이 논문은 클래스 불균형 상황에서의 준지도학습을 위한 분포 인지형 의미 중심(DASO) 가짜 레이블링을 제안한다. 이 방법은 현재의 분포 편향에 기반해 유사도 기반 분류기에서 유도한 의미적 가짜 레이블과 기존 선형 분류기 가짜 레이블을 적응적으로 혼합한다. 이는 주로 다수 클래스에서의 오진 양성률을 감소시키며, CIFAR10/100-LT, STL10-LT, Semi-Aves 벤치마크에서 클래스 불균형과 분포 불일치 상황에서의 가짜 레이블 편향을 억제함으로써 성능을 향상시킨다.

ABSTRACT

The capability of the traditional semi-supervised learning (SSL) methods is far from real-world application since they do not consider (1) class imbalance and (2) class distribution mismatch between labeled and unlabeled data. This paper addresses such a relatively under-explored problem, imbalanced semi-supervised learning, where heavily biased pseudo-labels can harm the model performance. Interestingly, we find that the semantic pseudo-labels from a similarity-based classifier in feature space and the traditional pseudo-labels from the linear classifier show the complementary property. To this end, we propose a general pseudo-labeling framework to address the bias motivated by this observation. The key idea is to class-adaptively blend the semantic pseudo-label to the linear one, depending on the current pseudo-label distribution. Thereby, the increased semantic pseudo-label component suppresses the false positives in the majority classes and vice versa. We term the novel pseudo-labeling framework for imbalanced SSL as Distribution-Aware Semantics-Oriented (DASO) Pseudo-label. Extensive evaluation on CIFAR10/100-LT and STL10-LT shows that DASO consistently outperforms both recently proposed re-balancing methods for label and pseudo-label. Moreover, we demonstrate that typical SSL algorithms can effectively benefit from unlabeled data with DASO, especially when (1) class imbalance and (2) class distribution mismatch exist and even on recent real-world Semi-Aves benchmark.

연구 동기 및 목표

• 실제 환경에서 라벨링된 데이터와 라벨링되지 않은 데이터 간의 클래스 불균형과 분포 불일치로 인해 모델 성능이 저하되는 상황에서 기존 준지도학습 기법의 한계를 해결한다.
• 클래스 불균형 하에서 편향을 다루는 데 있어 의미적 가짜 레이블과 선형 가짜 레이블 간에 상호보완적인 특성을 확인한다.
• 현재 분포에 기반해 두 유형의 가짜 레이블을 동적으로 혼합하는 일반화 가능한 프레임워크를 제안하여 다수 클래스에서의 오진 양성률을 감소시킨다.
• 장기 꼬리 분포 및 분포 이탈 상황에서 준지도학습의 모델 강인성과 정확도를 향상시킨다.
• CIFAR10/100-LT, STL10-LT, 그리고 최신 Semi-Aves 데이터셋을 포함한 여러 벤치마크에서 DASO의 유효성을 입증한다.

제안 방법

• 특징 공간에서 유사도 기반 분류기를 도입하여 의미적 가짜 레이블을 생성한다. 이는 분포 이탈과 클래스 불균형에 더 강건하다.
• 선형 분류기를 사용해 표준 가짜 레이블을 생성한다. 이는 고밀도 영역에서는 더 확신이 있지만, 장기 꼬리 설정에서는 오류가 발생하기 쉬운 편이다.
• 가짜 레이블의 현재 분포에 따라 의미적 및 선형 가짜 레이블의 기여도를 조정하는 클래스 적응형 혼합 메커니즘을 설계한다.
• 다수 클래스에서 오진 양성이 발생할 가능성이 높을 경우 의미적 가짜 레이블 성분을 증가시키고, 반대로 그 반대의 경우를 적용하는 동적 가중 전략을 적용한다.
• 혼합된 가짜 레이블을 사용해 모델을 엔드 투 엔드로 훈련함으로써 클래스 불균형 상황에서도 더 나은 일반화 성능을 달성한다.
• 구조적 변경 없이 표준 SSL 알고리즘에 DASO를 통합함으로써 광범위하게 적용 가능한 특성을 확보한다.

실험 결과

연구 질문

• RQ1 의미적 가짜 레이블과 선형 가짜 레이블의 조합이 클래스 불균형 준지도학습에서 성능에 어떤 영향을 미치는가?
• RQ2 분포 인지형 혼합 전략이 클래스 불균형과 분포 불일치로 인한 가짜 레이블 편향을 줄일 수 있는가?
• RQ3 기존 재균형 기법과 비교했을 때 DASO는 CIFAR10/100-LT 및 STL10-LT와 같은 장기 꼬리 벤치마크에서 얼마나 성능을 향상시키는가?
• RQ4 DASO는 라벨과 가짜 레이블의 분포 이탈이 동시에 존재하는 실제 데이터셋인 Semi-Aves에 일반화되는가?
• RQ5 현재 분포에 기반해 가짜 레이블 성분을 동적으로 적응시키는 방식이 모델 강인성을 어떻게 향상시키는가?

주요 결과

• DASO는 CIFAR10/100-LT 및 STL10-LT 벤치마크에서 최근의 재균형 기법보다 라벨 및 가짜 레이블 양측에서 일관되게 뛰어난 성능을 기록한다.
• 불균형이 심할 경우 의미적 가짜 레이블의 영향력을 증가시킴으로써 다수 클래스에서의 오진 양성률을 크게 감소시킨다.
• 라벨링된 데이터와 라벨링되지 않은 데이터 간의 심각한 클래스 분포 불일치 상황에서도 DASO는 모델 정확도를 향상시킨다.
• 다양한 SSL 알고리즘에 적용했을 때 성능 향상이 뚜렷하여, 넓은 호환성과 효과성을 입증한다.
• 실제 세계 데이터셋인 Semi-Aves에서 DASO는 장기 꼬리 및 분포 이탈 조건 하에서도 라벨링되지 않은 데이터를 효과적으로 활용해 최신 기준 성능을 달성한다.
• 제거 실험을 통해 동적 혼합 메커니즘이 핵심임을 확인하였으며, 고정된 혼합 전략은 성능 저하를 초래한다.