[논문 리뷰] FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning

Zhuo Huang, Li Shen외 3명|arXiv (Cornell University)|2023. 10. 25.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

FlatMatch는 레이블된 데이터와 레이블이 없는 데이터 간의 학습 동역학을 일치시키기 위해 악성 방해 변형을 가한 최악의 경우 모델과 원본 모델 간의 교차 날카기성(_cross-sharpness_)을 최소화하는 새로운 반감독 학습 방법을 제안한다. 레이블이 없는 데이터를 활용하여 레이블된 데이터에 대한 일반화 성능을 안정화하고 향상시킴으로써, 특히 레이블 수가 적은 상황에서 훈련 안정성과 일반화 성능을 향상시키며, 여러 SSL 벤치마크에서 최고 성능(SOTA)을 달성한다.

ABSTRACT

Semi-Supervised Learning (SSL) has been an effective way to leverage abundant unlabeled data with extremely scarce labeled data. However, most SSL methods are commonly based on instance-wise consistency between different data transformations. Therefore, the label guidance on labeled data is hard to be propagated to unlabeled data. Consequently, the learning process on labeled data is much faster than on unlabeled data which is likely to fall into a local minima that does not favor unlabeled data, leading to sub-optimal generalization performance. In this paper, we propose FlatMatch which minimizes a cross-sharpness measure to ensure consistent learning performance between the two datasets. Specifically, we increase the empirical risk on labeled data to obtain a worst-case model which is a failure case that needs to be enhanced. Then, by leveraging the richness of unlabeled data, we penalize the prediction difference (i.e., cross-sharpness) between the worst-case model and the original model so that the learning direction is beneficial to generalization on unlabeled data. Therefore, we can calibrate the learning process without being limited to insufficient label information. As a result, the mismatched learning performance can be mitigated, further enabling the effective exploitation of unlabeled data and improving SSL performance. Through comprehensive validation, we show FlatMatch achieves state-of-the-art results in many SSL settings.

연구 동기 및 목표

• 반감독 학습에서 레이블된 데이터는 빠르게 수렴하지만 날카로운 손실 곡면을 보이며, 레이블이 없는 데이터와 일반화 성능이 불일치하는 문제를 해결하기 위해.
• 레이블 부족 문제를 극복하기 위해 레이블이 없는 데이터의 풍부한 정보를 활용하여 레이블된 데이터의 학습을 校정함으로써 일반화 성능을 향상시키기 위해.
• 새로운 교차 날카기성 정규화를 통해 레이블된 데이터와 레이블이 없는 데이터의 훈련 간 일관성을 확보함으로써 두 훈련 간 격차를 해소하기 위해.
• 개별 샘플 일관성 또는 가짜 레이블에 의존하지 않고도 모델의 강건성과 안정성을 향상시키는 방법을 개발하기 위해.

제안 방법

• FlatMatch는 원본 모델 파라미터에 악성 방해 변형을 적용하여 최악의 경우 모델을 도입함으로써, 손실 곡면의 불안정한 영역을 식별하기 위한 실패 케이스를 시뮬레이션한다.
• 교차 날카기성은 레이블이 없는 데이터에서 최악의 경우 모델과 원본 모델 간의 예측 차이로 계산되며, 이는 정규화 항으로 기능한다.
• 이 교차 날카기성을 최소화하여 원본 모델과 최악의 경우 모델 간 레이블이 없는 데이터에서의 일치를 유도함으로써 일반화 성능 향상과 훈련 안정성 향상을 달성한다.
• 효율적인 변종인 FlatMatch-e는 지수 이동 평균(EMA)을 사용하여 최악의 경우 모델을 근사함으로써 계산 비용을 감소시키면서도 성능 유지를 한다.
• 이 방법은 기존 SSL 프레임워크와 호환되며, 아키텍처 변경 없이 표준 훈련 파이프라인에 쉽게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 레이블된 데이터와 레이블이 없는 데이터 간의 학습 동역학을 일치시키는 것이 반감독 학습에서 일반화 성능 향상에 기여하는가?
• RQ2 최악의 경우 모델과 원본 모델 간의 교차 날카기성 최소화가 더 평탄한 손실 곡면과 더 나은 일반화를 이끌어내는가?
• RQ3 레이블이 부족한 상황에서도 레이블이 없는 데이터를 활용하여 레이블된 데이터의 학습을 안정화하고 향상시킬 수 있는가?
• RQ4 기존 SOTA SSL 방법과 비교해 본다면, 제안된 방법은 안정성, 효율성, 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• FlatMatch는 CIFAR-10 및 CIFAR-100을 포함한 여러 SSL 벤치마크에서 다양한 레이블 설정 하에서 기존 방법들인 FixMatch와 FreeMatch를 능가하는 최고 성능(SOTA)을 달성한다.
• 2D 등고선과 1D 손실 곡선의 매끄러움으로 인해, FlatMatch는 FixMatch보다 레이블된 데이터에서 훨씬 더 평탄한 손실 곡면을 생성함을 입증하며, 일반화 성능 향상을 시사한다.
• 훈련 전반에 걸쳐 기울기 노름이 현저히 낮아져 훈련 안정성이 향상되었음을 보여주며, 특히 FreeMatch와 비교했을 때 두드러진다.
• 편향 조절을 위한 초기화 파라미터 ρ는 성능에 큰 영향을 미치며, 최적 성능은 ρ = 0.1에서 달성된다. 0.25 이상의 값은 성능 저하를 야기한다.
• 효율적인 변종인 FlatMatch-e는 반복 계산 비용을 줄이면서도 높은 정확도를 유지함으로써, EMA 기반 근사가 효과적이고 효율적임을 입증한다.