[논문 리뷰] TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery

Yanan Wu, Yuhan Yan외 6명|arXiv (Cornell University)|2026. 03. 09.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

TALON은 해시 기반 양자화를 피하고 새로운 클래스를 더 잘 발견하면서 인코더와 클래스 프로토타입을 온라인으로 업데이트하는 테스트 시간 적응 프레임워크를 도입한다.

ABSTRACT

On-the-fly category discovery (OCD) aims to recognize known categories while simultaneously discovering novel ones from an unlabeled online stream, using a model trained only on labeled data. Existing approaches freeze the feature extractor trained offline and employ a hash-based framework that quantizes features into binary codes as class prototypes. However, discovering novel categories with a fixed knowledge base is counterintuitive, as the learning potential of incoming data is entirely neglected. In addition, feature quantization introduces information loss, diminishes representational expressiveness, and amplifies intra-class variance. It often results in category explosion, where a single class is fragmented into multiple pseudo-classes. To overcome these limitations, we propose a test-time adaptation framework that enables learning through discovery. It incorporates two complementary strategies: a semantic-aware prototype update and a stable test-time encoder update. The former dynamically refines class prototypes to enhance classification, whereas the latter integrates new information directly into the parameter space. Together, these components allow the model to continuously expand its knowledge base with newly encountered samples. Furthermore, we introduce a margin-aware logit calibration in the offline stage to enlarge inter-class margins and improve intra-class compactness, thereby reserving embedding space for future class discovery. Experiments on standard OCD benchmarks demonstrate that our method substantially outperforms existing hash-based state-of-the-art approaches, yielding notable improvements in novel-class accuracy and effectively mitigating category explosion. The code is publicly available at extcolor{blue}{https://github.com/ynanwu/TALON}.

연구 동기 및 목표

• 레이블링되지 않은 스트리밍 데이터에서 알려진 카테고리를 식별하는 동시에 새로운 카테고리를 발견해야 하는 오픈 월드 인식에 동기를 부여한다.
• 정보 손실과 카테고리 폭발을 초래하는 고정된 오프라인 특징 추출기와 해시 기반 프로토타입에 대한 의존성을 제거한다.
• 진화하는 데이터 스트림으로부터 새로운 지식을 흡수하기 위해 인코더와 클래스 프로토타입을 공동으로 업데이트하는 테스트 시간 적응 프레임워크를 개발한다.
• 오프라인 학습 중 여백 인식 로짓 보정을 도입하여 클래스 간 여백을 넓히고 향후 새로운 카테고리에 공간을 남겨둔다.

제안 방법

• 해시가 없는 연속 특징 공간을 사용하여 표현력과 발견 안정성을 향상시킨다.
• 오프라인 단계: 클래스 간 여백을 확대하고 클래스 내 응집력을 강화하기 위해 여백 인식 로짓 보정을 적용한다.
• 온라인 단계: 알려진 클래스와 새로운 클래스를 구분하는 온라인 의사결정 규칙을 구현하고 동적 프로토타입 메모리를 유지한다.
• 의미 인식 기반의 프로토타입 업데이트가 확신 제어된 지수 이동 평균을 통해 알려진 클래스 프로토타입을 정제한다.
• 특징을 프로토타입과 정렬하고 클래스 경계를 보존하기 위해 엔트로피 기반 목적함수와 프로토타입 수준 정규화를 통해 안정적인 테스트 시간 인코더 적응을 수행한다.
• 새로운 클래스를 위한 새로운 프로토타입으로 프로토타입 메모리를 확장하고 드리프트를 방지하기 위해 주기적인 인코더 업데이트를 수행한다.

Figure 1 : At test time , existing methods ( left ) rely on static inference and fail to adapt to label space shifts, leading to inaccurate discovery and recognition. In contrast, our TALON ( right ) continually accumulates knowledge from unlabeled test data to overcome this challenge. Moreover, our

실험 결과

연구 질문

• RQ1 레이블링되지 않은 스트리밍 데이터로부터 즉시 카테고리 발견을 효과적으로 지원하는 테스트 시간 적응(TTA) 프레임워크가 가능한가?
• RQ2 해시 기반 양자화를 제거하고 인코더와 프로토타입을 모두 업데이트하는 것이 새로운 클래스 발견을 개선하고 카테고리 폭발을 줄이는가?
• RQ3 오프라인에서 여백 인식 로짓 보정이 향후 새로운 카테고리 발견에 유리한 공간을 형성하는 데 도움이 되는가?
• RQ4 테스트 시점의 엔트로피 기반 목표 함수와 정규화가 의미적 일관성을 보존하면서 적응을 안정화할 수 있는가?
• RQ5 표준 벤치마크에서 해시 기반 OCD 최첨단 방법과 비교해 TALON의 성능은 어떠한가?

주요 결과

• TALON은 7개 벤치마크에 걸쳐 기존의 해시 기반 OCD 방법들을 지속적으로 능가한다.
• 제안된 해시 프리 프레임워크는 표현력과 발견의 안정성을 향상시킨다.
• 여백 인식 로짓 보정은 클래스 간 간격을 높이고 클래스 내 응집력을 강화하여 향후 새로운 카테고리 발견을 돕는다.
• 의미 인식 기반의 프로토타입 업데이트와 온라인 인코더 적응을 결합하여 카테고리 폭발을 완화하고 새로운 클래스 정확도를 향상시킨다.
• 실험은 새로운 클래스에서 뚜렷한 이득과 거칠고 미세한 데이터셋 전반에 걸친 견고한 성능을 보여준다.

Figure 2 : Overview of the proposed TALON framework. (a) During the offline stage, we introduce margin-aware logit calibration to enlarge inter-class margins and enhance intra-class compactness, reserving embedding space for future category discovery. (b) At test-time, we jointly update the encoder