[논문 리뷰] RankingMatch: Delving into Semi-Supervised Learning with Consistency Regularization and Ranking Loss

Trung Quang Tran, Min‐Gu Kang외 1명|arXiv (Cornell University)|2021. 10. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 4

한 줄 요약

RankingMatch는 동일한 클래스의 이미지에 대해 유사한 모델 출력을 유도하기 위해 순위 기반 손실을 통합함으로써 일致성 정규화를 향상시키는 새로운 준지도 학습 방법을 제안한다. 계산적으로 효율적인 BatchMean 삼중체 손실을 도입하고 이를 모델 로짓에 직접 적용함으로써 RankingMatch는 단지 250개의 레이블로 CIFAR-10에서 95.13%의 정확도를 달성하고, 1000개의 레이블로 SVHN에서 97.77%의 정확도를 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

Semi-supervised learning (SSL) has played an important role in leveraging unlabeled data when labeled data is limited. One of the most successful SSL approaches is based on consistency regularization, which encourages the model to produce unchanged with perturbed input. However, there has been less attention spent on inputs that have the same label. Motivated by the observation that the inputs having the same label should have the similar model outputs, we propose a novel method, RankingMatch, that considers not only the perturbed inputs but also the similarity among the inputs having the same label. We especially introduce a new objective function, dubbed BatchMean Triplet loss, which has the advantage of computational efficiency while taking into account all input samples. Our RankingMatch achieves state-of-the-art performance across many standard SSL benchmarks with a variety of labeled data amounts, including 95.13% accuracy on CIFAR-10 with 250 labels, 77.65% accuracy on CIFAR-100 with 10000 labels, 97.76% accuracy on SVHN with 250 labels, and 97.77% accuracy on SVHN with 1000 labels. We also perform an ablation study to prove the efficacy of the proposed BatchMean Triplet loss against existing versions of Triplet loss.

연구 동기 및 목표

• 기존 일치성 정규화 방법이 동일 입력의 변형된 형태에만 초점을 맞추고 동일 클래스 내 상호 샘플 유사성은 忽시하는 한계를 해결하기 위해.
• 서로 다른 변형이 아닌, 동일 클래스의 이미지가 비록 서로의 변형이 아니더라도 유사한 모델 출력을 생성하도록 강제하여 모델 일반화를 향상시키기 위해.
• BatchAll의 표현력은 유지하면서 BatchHard의 계산 비용을 낮춘 계산 효율성이 뛰어난 삼중체 손실의 변형을 개발하기 위해.
• 특징 표현이 아닌 모델 로짓에 직접 순위 기반 손실을 적용함으로써 준지도 학습과 거리 학습을 통합하기 위해.
• 제안된 손실 구성 요소의 효과를 실증적으로 검증하고, 다양한 벤치마크와 레이블 예산에서 수렴성과 성능에 미치는 영향을 분석하기 위해.

제안 방법

• 교차 엔트로피 손실, 일치성 정규화(FixMatch 방식), 그리고 새로운 순위 기반 손실 구성 요소를 결합한 준지도 학습 프레임워크인 RankingMatch를 도입한다.
• 학습된 특징 표현이 아닌 모델의 최종 로짓(분류 점수)에 삼중체 및 대비 손실을 직접 적용하여 출력 수준에서 동일 클래스 간 유사성을 강제한다.
• 전체 배치 내에서 가장 어려운 양성 및 음성 쌍을 계산함으로써 표현력과 계산 효율성을 균형 잡은 새로운 변형인 BatchMean 삼중체 손실을 제안한다.
• 훈련 안정성 향상과 특히 BatchMean 손실 사용 시 수렴성 향상을 위해 로짓에 L2 정규화를 적용한다.
• 두 단계의 증강 전략을 활용: 약한 증강을 거친 입력은 강한 증강을 거친 상대편에 대한 가짜 레이블을 생성하며, 일치성 원칙을 강제한다.
• BatchAll의 메모리 및 시간 오버헤드를 피하면서도 BatchHard를 초월하는 정확도를 달성하기 위해 순위 기반 손실을 미분 가능하고 확장 가능한 방식으로 조정한다.

실험 결과

연구 질문

• RQ1 동일 클래스의 샘플에 대한 모델 출력 간 유사성을 강제하면 일치성 정규화만으로는 부족한 준지도 학습 성능 향상이 가능한가?
• RQ2 특징 표현이 아닌 로짓에 직접 순위 기반 손실을 적용하면 더 나은 일반화와 훈련 안정성이 달성되는가?
• RQ3 BatchAll의 표현력을 유지하면서도 BatchHard의 효율성을 확보할 수 있는 새로운 삼중체 손실 변형을 설계할 수 있는가?
• RQ4 L2 정규화의 포함 여부가 순위 기반 준지도 학습 방법의 훈련 동역학과 최종 정확도에 어떤 영향을 미치는가?
• RQ5 기존의 BatchAll 및 BatchHard 대비 제안된 BatchMean 삼중체 손실이 정확도 및 계산 비용 측면에서 기여도가 어떠한가?

주요 결과

• RankingMatch는 단지 250개의 레이블로 CIFAR-10에서 95.13%의 top-1 정확도를 달성하여 이전 최신 기술 수준의 방법들을 초월한다.
• SVHN에서는 1000개의 레이블로 97.77%의 정확도를 기록하여 낮은 레이블 예산에서도 뛰어난 성능을 보여준다.
• 250개의 레이블을 가진 CIFAR-10에서 BatchMean 삼중체 손실은 BatchHard 및 BatchAll 변형 대비 오차율을 각각 50%와 75% 감소시킨다.
• L2 정규화 없이 BatchMean 삼중체 손실을 사용할 경우 기울기 폭발로 인해 훈련이 발산하므로, 이는 모델 안정성에 있어 핵심적인 역할을 한다는 것을 시사한다.
• BatchAll 대비 BatchMean 삼중체 손실은 훨씬 더 효율적이며, SVHN에서 평균 에포크 당 훈련 시간을 125초 이상 단축시키고 GPU 메모리 사용량을 절반으로 줄인다.
• t-SNE 시각화 결과 RankingMatch는 FixMatch 및 MixMatch에 비해 로짓 공간에서 더 조밀하고 잘 분리된 클래스 클러스터를 생성함을 보여주며, 개선된 결정 경계를 유도함을 시사한다.