[논문 리뷰] Novel Class Discovery for Long-tailed Recognition

Chuyu Zhang, Xu Ruijie외 1명|arXiv (Cornell University)|2023. 08. 06.

Domain Adaptation and Few-Shot LearningComputer Science인용 수 3

한 줄 요약

이 논문은 알려진 클래스와 신규 클래스 모두가 장꼬리 분포를 따르는 장꼬리 새로운 클래스 탐지(NCD)를 위한 새로운 적응형 자기 레이블링 프레임워크를 제안한다. 의사 레이블 생성을 유연한 최적 운반 문제로 공식화하고 등각 프로토타입 기반 표현 학습을 통합함으로써, 클래스 편향을 감소시키고 CIFAR100, ImageNet100, Herbarium19, iNaturalist18에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 꼬리 클래스의 정확도 향상이 두드러진다.

ABSTRACT

While the novel class discovery has recently made great progress, existing methods typically focus on improving algorithms on class-balanced benchmarks. However, in real-world recognition tasks, the class distributions of their corresponding datasets are often imbalanced, which leads to serious performance degeneration of those methods. In this paper, we consider a more realistic setting for novel class discovery where the distributions of novel and known classes are long-tailed. One main challenge of this new problem is to discover imbalanced novel classes with the help of long-tailed known classes. To tackle this problem, we propose an adaptive self-labeling strategy based on an equiangular prototype representation of classes. Our method infers high-quality pseudo-labels for the novel classes by solving a relaxed optimal transport problem and effectively mitigates the class biases in learning the known and novel classes. We perform extensive experiments on CIFAR100, ImageNet100, Herbarium19 and large-scale iNaturalist18 datasets, and the results demonstrate the superiority of our method. Our code is available at https://github.com/kleinzcy/NCDLR.

연구 동기 및 목표

• 모든 클래스가 장꼬리 분포를 따르는 현실적인 NCD 설정을 고려하여 실제 시각 인식에서의 격차를 해소한다.
• 기존 NCD 방법이 균형 잡힌 클래스 분포를 가정하고 극심한 클래스 불균형 상황에서 실패하는 한계를 극복한다.
• 장꼬리 알려진 클래스와 불균형한 새로운 클래스에서의 표현 편향을 모두 완화하는 통합 학습 프레임워크를 개발한다.
• 실제 환경에서 수가 알려지지 않은 불균형한 크기의 새로운 클래스를 효과적으로 탐지할 수 있도록 한다.
• 불균형 설정에서 일반적으로 학습이 부족한 꼬리 클래스와 중간 클래스에서 뛰어난 성능을 달성한다.

제안 방법

• 신규 클래스의 의사 레이블 생성을 유연한 최적 운반 문제로 공식화하여 적응적이고 편향이 적은 레이블링을 가능하게 한다.
• 장꼬리 알려진 클래스 학습에서의 감독 편향을 줄이기 위해 등각 프로토타입 기반 분류기 헤드를 도입한다.
• 부드러운 의사 레이블 생성과 표현 학습을 번갈아가며 수행하는 양방향 최적화 알고리즘을 설계하여 공동 최적화를 달성한다.
• 고정 또는 학습 가능한 w와 비교해 안정성과 성능을 향상시키기 위해 클러스터 크기 추정을 동적으로 조정하는 파라미터화된 불균형 요소 w(τ)를 사용한다.
• 사전 지식이 없는 상황에서 새로운 클래스 수를 추정하는 새로운 방법을 제안하여 실생활 적용 가능성을 높인다.
• 대부분의 알려진 클래스와 새로운 클래스에 대해 통합 손실 함수를 사용하고, 대비적 및 자기 레이블링 목적함수를 모두 활용하여 비지도 사전 학습을 수행하는 딥 네ural 네트워크를 훈련한다.

실험 결과

연구 질문

• RQ1 기존의 균형 잡힌 데이터를 가정하는 것과는 달리, 알려진 클래스와 새로운 클래스 모두가 장꼬리 분포를 따르는 상황에서 새로운 클래스 탐지 프레임워크가 효과적으로 작동할 수 있는가?
• RQ2 신규 클래스 탐지에서 클래스 불균형에 대해 적응적이고 강건한 의사 레이블링은 어떻게 달성할 수 있는가?
• RQ3 등각 프로토타입은 장꼬리 알려진 클래스 학습에서 표현 편향을 줄일 수 있을 뿐 아니라, 불균형한 새로운 클래스 클러스터링을 지원할 수 있는가?
• RQ4 고정된 사전 확률이나 균일한 할당 방식과 비교해, 의사 레이블링에 대해 유연한 최적 운반 공식화가 불균형 설정에서 더 나은 성능을 낼 수 있는가?
• RQ5 실제 배포 환경에서 효과적인 엔드 투 엔드의 자가 추정 기반 새로운 클래스 수 추정 방법이 유의미한가?

주요 결과

• 제안된 방법은 평가된 모든 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 CIFAR100, ImageNet100, Herbarium19, iNaturalist18를 포함한다.
• R^s=50 및 R^u=50 조건에서 ImageNet100에서의 새로운 클래스 정확도는 61.48%에 도달하였으며, 이는 균일한 사전 확률 기반 베이스라인(57.40%)과 진짜 사전 확률(42.40%)보다 뚜렷이 뛰어나다.
• 진짜 사전 확률 기반 베이스라인 대비 꼬리 클래스 정확도를 38.46% 포인트 향상시켜 클래스 편향을 강력하게 완화함을 입증한다.
• 직접 k차원 w를 최적화하는 것보다 적응형 w(τ) 파arameterization이 더 뛰어난 성능과 안정성을 보였으며, 꼬리 클래스 정확도는 53.07%를 기록했고, 진짜 사전 확률 기반으로는 14.27%에 머물렀다.
• t-SNE 시각화 결과는 등각 프로토타입이 학습 가능한 분류기보다 더 단단하고 잘 분리된 특징 클러스터를 생성함을 확인했으며, 특히 꼬리 클래스에서 두드러진다.
• 반복적인 이중 최적화 과정은 노이즈가 많은 의사 레이블에 대한 과적합을 효과적으로 줄이고, 헤드, 중간, 꼬리 클래스 전반에 걸쳐 일반화 성능을 향상시킨다.