[논문 리뷰] DASO: Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning

Young‐Taek Oh, Dong-Jin Kim외 1명|arXiv (Cornell University)|2021. 06. 10.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 장수분포(long-tailed) 반감독 학습을 위한 새로운 가짜 레이블링 프레임워크인 DASO를 제안한다. DASO는 현재 클래스 분포에 기반해 선형적이고 의미적인 가짜 레이블을 동적으로 혼합함으로써 가짜 레이블의 편향을 줄인다. 또한 특징 표현을 향상시키기 위해 의미적 정렬 손실을 도입하여, CIFAR-10/100-LT, STL-10-LT, 그리고 오픈세트 클래스를 포함한 대규모 Semi-Aves를 포함한 불균형 기반 벤치마크에서 일관된 성능 향상을 달성한다.

ABSTRACT

The capability of the traditional semi-supervised learning (SSL) methods is far from real-world application due to severely biased pseudo-labels caused by (1) class imbalance and (2) class distribution mismatch between labeled and unlabeled data. This paper addresses such a relatively under-explored problem. First, we propose a general pseudo-labeling framework that class-adaptively blends the semantic pseudo-label from a similarity-based classifier to the linear one from the linear classifier, after making the observation that both types of pseudo-labels have complementary properties in terms of bias. We further introduce a novel semantic alignment loss to establish balanced feature representation to reduce the biased predictions from the classifier. We term the whole framework as Distribution-Aware Semantics-Oriented (DASO) Pseudo-label. We conduct extensive experiments in a wide range of imbalanced benchmarks: CIFAR10/100-LT, STL10-LT, and large-scale long-tailed Semi-Aves with open-set class, and demonstrate that, the proposed DASO framework reliably improves SSL learners with unlabeled data especially when both (1) class imbalance and (2) distribution mismatch dominate.

연구 동기 및 목표

• 라벨된 데이터와 라벨되지 않은 데이터 간의 클래스 불균형과 분포 불일치 상황에서 발생하는 편향된 가짜 레이블 문제를 해결한다.
• 균형 잡힌 데이터를 가정하거나 라벨된/라벨되지 않은 데이터의 분포가 동일하다는 가정을 하는 기존 SSL 방법의 한계를 극복한다.
• 라벨되지 않은 데이터의 분포에 대한 사전 지식이 없이도 실시간으로 가짜 레이블의 클래스 분포에 기반해 가짜 레이블 혼합 전략을 적응적으로 조정할 수 있는 일반적인 프레임워크를 개발한다.
• 의미적 정렬 손실을 통해 균형 잡힌 클래스 프로토타입과 다양한 데이터 뷰 간의 일관된 예측을 장려함으로써 특징 표현을 향상시킨다.
• 다양한 불균형 반감독 벤치마크, 특히 클래스 외 예측이 포함된 오픈세트 시나리오에서도 강력한 성능 향상을 달성한다.

제안 방법

• 현재 가짜 레이블 분포에 기반해 동적으로 스케줄링되는 가중치를 사용하여, 헤드 클래스에 편향되는 선형 가짜 레이블과 테일 클래스에 편향되는 의미적 가짜 레이블을 혼합하는 클래스 적응형 혼합 전략을 제안한다.
• 두 개의 증강된 라벨되지 않은 데이터 뷰를 동일한 클래스 프로토타입으로 정렬하는 의미적 정렬 손실($\mathcal{L}_{\text{align}}$)을 도입하여, 균형 잡힌 특징 공간을 조성하고 분류기의 편향을 줄인다.
• 라벨된 데이터의 EMA 평균 특징에서 균형 잡힌 프로토타입을 생성하여 의미적 가짜 레이블링에 사용되는 유사도 기반 분류기의 기준점으로 활용한다.
• FixMatch 및 ReMixMatch와 같은 기존 SSL 알고리즘과 플러그 앤 플레이 호환성을 통해 DASO 프레임워크를 통합하여 장수분포 환경에서의 성능 향상을 도모한다.
• 프로토타입 기반 분류기의 훈련을 안정화시키고 특징 학습의 안정성을 확보하기 위해 정지 기울기(Stop-gradient) 연산을 활용한다.
• 특징 공간에서의 일관성 정규화를 활용하여 일반화 및 강인성을 향상시키며, 특히 소수의 샘플과 클래스 외 예측에 대해 유리한 성능을 발휘한다.

실험 결과

연구 질문

• RQ1 장수분포 데이터 분포에서 선형적이고 의미적인 가짜 레이블을 동적으로 혼합하는 것이 반감독 학습에서의 편향을 효과적으로 줄일 수 있는가?
• RQ2 제안된 의미적 정렬 손실은 불균형 반감독 학습 환경에서 특징 표현과 분류기 일반화에 어떻게 기여하는가?
• RQ3 라벨된 데이터 분포와 뚜렷하게 다를 경우, 특히 오픈세트 시나리오에서 DASO는 성능 향상에 얼마나 기여하는가?
• RQ4 DASO 프레임워크는 다양한 반감독 학습 알고리즘과 장수분포 정도가 다른 다양한 벤치마크 데이터셋에서도 성능 향상을 유지하는가?
• RQ5 명시적인 오픈세트 학습 구성 요소 없이 DASO는 클래스 외 예측에 대해 낮은 신뢰도를 가지는 예측을 암묵적으로 탐지하고 가중치를 낮출 수 있는가?

주요 결과

• DASO는 CIFAR-10/100-LT, STL-10-LT, 오픈세트 클래스를 포함한 대규모 Semi-Aves를 포함한 여러 장수분포 벤치마크에서 일관된 성능 향상을 달성한다.
• 100개 클래스와 장수분포를 가진 CIFAR-100-LT에서, DASO는 강한 클래스 불균형 조건 하에 FixMatch 대비 상위-1 정확도를 4.2% 향상시켰다.
• 클래스 외 예측이 포함된 Semi-Aves 벤치마크에서 DASO는 클래스 외 샘플에 대한 확신 있는 예측 수를 약 8,000개에서 약 4,000개로 줄여, 더 나은 불확실성 추정 능력을 보였다.
• t-SNE 시각화 결과 DASO는 헤드 클래스와의 분리도를 향상시켰으며, 기준 모델인 FixMatch 대비 소수 클래스 클러스터가 헤드 클래스 클러스터에서 더 멀리 떨어져 있음을 확인했다.
• 의미적 정렬 손실만으로도 소수 클래스의 클러스터링이 향상되지만, 적응형 혼합 전략을 포함한 전체 DASO 프레임워크가 가장 뛰어난 분리도와 성능을 달성한다.
• 제거 실험을 통해 적응형 혼합 메커니즘과 의미적 정렬 손실이 DASO 성공의 핵심 요소임을 확인하였으며, 각각 편향 감소에 기여하는 데 중요한 역할을 한다.