[논문 리뷰] Parametric Classification for Generalized Category Discovery: A Baseline Study

Xin Wen, Bingchen Zhao외 1명|arXiv (Cornell University)|2022. 11. 21.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 일반화된 카테고리 발견(GCD)를 위한 단순하면서도 효과적인 파arametric 분류 방법을 제안한다. 기존의 파arametric 분류기들이 신뢰할 수 없는 의사 레이블과 예측 편향으로 인해 실패하는 문제를 해결함으로써, 엔트로피 정규화와 자기 정교화(self-distillation)를 통합하여 다양한 GCD 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서도, 알려지지 않은 신규 카테고리 수에 대해서도 강건성을 유지한다.

ABSTRACT

Generalized Category Discovery (GCD) aims to discover novel categories in unlabelled datasets using knowledge learned from labelled samples. Previous studies argued that parametric classifiers are prone to overfitting to seen categories, and endorsed using a non-parametric classifier formed with semi-supervised k-means. However, in this study, we investigate the failure of parametric classifiers, verify the effectiveness of previous design choices when high-quality supervision is available, and identify unreliable pseudo-labels as a key problem. We demonstrate that two prediction biases exist: the classifier tends to predict seen classes more often, and produces an imbalanced distribution across seen and novel categories. Based on these findings, we propose a simple yet effective parametric classification method that benefits from entropy regularisation, achieves state-of-the-art performance on multiple GCD benchmarks and shows strong robustness to unknown class numbers. We hope the investigation and proposed simple framework can serve as a strong baseline to facilitate future studies in this field. Our code is available at: https://github.com/CVMI-Lab/SimGCD.

연구 동기 및 목표

• 기존의 파arametric 분류기가 일반화된 카테고리 발견(GCD)에서 신규 카테고리를 인식하는 데 실패하는 이유를 조사한다.
• 신뢰할 수 없는 의사 레이블과 예측 편향(예: 기존 클래스에 대한 과도한 예측 및 레이블 분포의 불균형)이 낮은 성능의 근본 원인임을 규명한다.
• 비파라미터적 대안보다 우수하면서도 추론 비용이 낮은 단순하고 효과적인 파arametric 분류 기반 모델을 개발한다.
• 엔트로피 정규화가 예측 균형과 강건성을 향상시킬 수 있으며, 특히 알려지지 않은 클래스 수가 존재할 경우에 유용함을 입증한다.
• 향후 GCD 연구를 위한 강력하고 재현 가능한 기반 모델을 구축하며, 최근의 비파라미터적 방법 경향에 도전한다.

제안 방법

• 라벨이 부여된 데이터에 대해 교차 엔트로피 손실을 사용하여, 백본 네트워크와 함께 공동으로 훈련되는 파arametric 분류기를 채택한다.
• 비라벨 데이터에 대해 자기 정교화를 적용하여 소프트 의사 레이블을 생성함으로써, 명시적 클러스터링 없이 일반화 성능을 향상시킨다.
• 모든 카테고리에 대해 예측 분포를 균일하게 유지하도록 엔트로피 정규화 항을 도입하여, 기존 클래스에 대한 편향을 상쇄한다.
• 기존 연구와 동일한 표현 학습 목표(GCD [43])를 유지하며, 표현 학습이 아닌 분류 성능 향상에 집중한다.
• 라벨이 부여된 데이터에 대한 지도 학습과 비라벨 데이터에 대한 자기 정교화를 번갈아가며 수행하는 공동 최적화 기법을 사용한다.
• 기존 카테고리와 신규 카테고리를 하나의 통합된 분류 헤드에 통합하여, 균형 잡힌 예측 타겟을 갖춘 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 강력한 지도 학습과 표현 학습에도 불구하고 파arametric 분류기가 GCD에서 성능이 열등한 이유는 무엇인가?
• RQ2 GCD에서 신규 카테고리로의 일반화 성능이 떨어지는 데 기여하는 모델 예측의 특정 편향은 무엇인가?
• RQ3 엔트로피 정규화가 예측 불균형을 효과적으로 완화하고, 알려지지 않은 클래스에서의 성능을 향상시킬 수 있는가?
• RQ4 k-means와 같은 비파라미터적 분류기와 비교할 때, 제안된 방법은 정확도, 추론 비용, 강건성 측면에서 어떻게 다른가?
• RQ5 알려지지 않은 신규 카테고리 수가 존재할 경우, 엔트로피 정규화가 얼마나 강건성을 향상시킬 수 있는가?

주요 결과

• 기존 파arametric 분류기의 실패 원인은 주로 신뢰할 수 없는 의사 레이블과 기존 클래스에 대한 강한 예측 편향에 기인한다.
• 제안된 방법은 CIFAR-100, CUB, Tiny-ImageNet 등 다양한 GCD 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존의 파라미터 기반 및 비파라미터 기반 접근법을 모두 초월한다.
• 엔트로피 정규화가 시각화된 바에 따르면, 더 균형 잡힌 의사 레이블 분포를 생성함을 입증한다(Figures 9 및 10 참조).
• 실제 적용 환경에서 중요한 알려지지 않은 신규 카테고리 수에 대해서도 강력한 강건성을 보이며, 이는 주요 장점이다.
• 훈련 과정에서 기존 카테고리와 신규 카테고리 간의 성능 간 균형을 맞추는 데 어려움이 있음을 관찰하였으며, 이는 균형 잡힌 최적화의 필요성을 강조한다.
• 비파라미터적 k-means 클러스터링에 비해 추론 비용이 낮게 유지되며, 이는 대규모 데이터셋에서의 제곱 복잡도 문제를 악용하지 않기 때문이다.