[論文レビュー] TALON: Test-time Adaptive Learning for On-the-Fly Category Discovery

Yanan Wu, Yuhan Yan+6 more|arXiv (Cornell University)|Mar 9, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

TALONは、オンラインでエンコーダとクラスプロトタイプを更新するテスト時適応フレームワークを導入し、ハッシュベースの量子化を回避して新規クラスの発見を改善する、オンザフライのカテゴリ発見を可能にします。

ABSTRACT

On-the-fly category discovery (OCD) aims to recognize known categories while simultaneously discovering novel ones from an unlabeled online stream, using a model trained only on labeled data. Existing approaches freeze the feature extractor trained offline and employ a hash-based framework that quantizes features into binary codes as class prototypes. However, discovering novel categories with a fixed knowledge base is counterintuitive, as the learning potential of incoming data is entirely neglected. In addition, feature quantization introduces information loss, diminishes representational expressiveness, and amplifies intra-class variance. It often results in category explosion, where a single class is fragmented into multiple pseudo-classes. To overcome these limitations, we propose a test-time adaptation framework that enables learning through discovery. It incorporates two complementary strategies: a semantic-aware prototype update and a stable test-time encoder update. The former dynamically refines class prototypes to enhance classification, whereas the latter integrates new information directly into the parameter space. Together, these components allow the model to continuously expand its knowledge base with newly encountered samples. Furthermore, we introduce a margin-aware logit calibration in the offline stage to enlarge inter-class margins and improve intra-class compactness, thereby reserving embedding space for future class discovery. Experiments on standard OCD benchmarks demonstrate that our method substantially outperforms existing hash-based state-of-the-art approaches, yielding notable improvements in novel-class accuracy and effectively mitigating category explosion. The code is publicly available at extcolor{blue}{https://github.com/ynanwu/TALON}.

研究の動機と目的

• モデルが既知カテゴリを識別しつつ、ラベルなしのストリーミングデータから新規カテゴリを発見するオープンワールド認識を動機づける。
• 固定オフライン特徴抽出器と情報損失とカテゴリ爆発を引き起こすハッシュベースのプロトタイプへの依存を排除する。
• エンコーダとクラスプロトタイプを同時に更新して、進化するデータストリームから新しい知識を吸収するテスト時適応フレームワークを開発する。
• オフライン学習時にマージン意識のロジット校正を導入し、クラス間マージンを大きくし、将来の新規カテゴリのための空間を確保する。

提案手法

• ハッシュ不要の連続的特徴空間を使用して表現力と発見の安定性を向上させる。
• オフライン段階：マージン意識のロジット校正を適用してクラス間マージンを大きくし、同類内のコンパクト性を高める。
• オンライン段階：既知クラスと新規クラスを分離するオンライン意思決定ルールを実装し、動的プロトタイプメモリを維持する。
• 意味論を意識したプロトタイプ更新により、信頼度制御付きの指数移動平均で既知クラスのプロトタイプを精練する。
• 安定したテスト時エンコーダ適応を、エントロピーに基づく目的関数とプロトタイプレベルの正則化で実現し、特徴をプロトタイプに整列させ、クラス境界を維持する。
• 新規クラスのための新プロトタイプによるプロトタイプメモリの拡張と、ドリフトを防ぐ定期的なエンコーダ更新。

Figure 1 : At test time , existing methods ( left ) rely on static inference and fail to adapt to label space shifts, leading to inaccurate discovery and recognition. In contrast, our TALON ( right ) continually accumulates knowledge from unlabeled test data to overcome this challenge. Moreover, our

実験結果

リサーチクエスチョン

• RQ1 テスト時適応（TTA）フレームワークは、ラベルなしストリーミングデータからのオンザフライのカテゴリ発見を効果的に支援できるか。
• RQ2 ハッシュベースの量子化を排除し、エンコーダとプロトタイプの両方を更新することは、新規クラスの発見を改善し、カテゴリ爆発を減らすか。
• RQ3 マージン意識のロジット校正をオフラインで行うことは、将来の新規カテゴリの発見を有利にする空間を埋めるか。
• RQ4 テスト時のエントロピーベースの目的関数と正則化は、適応を安定化させつつ意味的一貫性を保てるか。
• RQ5 TALONは標準ベンチマークにおけるハッシュベース OCD最先端手法と比べてどの程度性能を示すか。

主な発見

• TALONは七つのベンチマークで従来のハッシュベース OCD法を一貫して上回る。
• 提案されたハッシュ不要のフレームワークは表現力と発見の安定性を向上させる。
• マージン意識のロジット校正はクラス内のコンパクト性とクラス間の分離を強化し、将来の新規カテゴリ発見を支援する。
• 意味論を意識したプロトタイプ更新とオンラインエンコーダ適応の組み合わせは、カテゴリ爆発を抑制し新規クラスの精度を改善する。
• 実験は新規クラスで顕著な改善を示し、粗・細分類データセットの両方で堅牢な性能を示した。

Figure 2 : Overview of the proposed TALON framework. (a) During the offline stage, we introduce margin-aware logit calibration to enlarge inter-class margins and enhance intra-class compactness, reserving embedding space for future category discovery. (b) At test-time, we jointly update the encoder