[論文レビュー] Novel Class Discovery for Long-tailed Recognition

Chuyu Zhang, Xu Ruijie+1 more|arXiv (Cornell University)|Aug 6, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本稿では、既知クラスと新規クラスの両方が長尾分布に従う現実的でない長尾新規クラス発見（NCD）設定を想定し、新規クラスの疑似ラベル生成を緩和された最適輸送問題として定式化し、等角プロトタイプに基づく表現学習を統合することで、分類バイアスを低減し、CIFAR100、ImageNet100、Herbarium19、iNaturalist18で最先端の性能を達成する、新しい適応的自己ラベリングフレームワークを提案する。特に、尾部クラスの精度が顕著に向上する。

ABSTRACT

While the novel class discovery has recently made great progress, existing methods typically focus on improving algorithms on class-balanced benchmarks. However, in real-world recognition tasks, the class distributions of their corresponding datasets are often imbalanced, which leads to serious performance degeneration of those methods. In this paper, we consider a more realistic setting for novel class discovery where the distributions of novel and known classes are long-tailed. One main challenge of this new problem is to discover imbalanced novel classes with the help of long-tailed known classes. To tackle this problem, we propose an adaptive self-labeling strategy based on an equiangular prototype representation of classes. Our method infers high-quality pseudo-labels for the novel classes by solving a relaxed optimal transport problem and effectively mitigates the class biases in learning the known and novel classes. We perform extensive experiments on CIFAR100, ImageNet100, Herbarium19 and large-scale iNaturalist18 datasets, and the results demonstrate the superiority of our method. Our code is available at https://github.com/kleinzcy/NCDLR.

研究の動機と目的

• 既知クラスと新規クラスの両方が長尾分布に従う現実的でないNCD設定を想定し、実世界の視覚認識におけるギャップを埋める。
• 既存のNCD手法がクラス分布のバランスを仮定しているが、極端なクラス不均衡下では失敗するという限界を克服する。
• 長尾分布の既知クラスと不均衡な新規クラスの両方における表現バイアスを緩和する統合学習フレームワークを開発する。
• 実世界のシナリオにおいて、数が未知で不均衡なサイズの新規クラスを効果的に発見できるようにする。
• 不均衡な設定下で通常学習が不足しがちな尾部クラスおよび中間クラスにおいて、優れた性能を達成する。

提案手法

• 新規クラスの疑似ラベル生成を緩和された最適輸送問題として定式化し、バイアスの少ない適応的ラベリングを可能にする。
• 長尾既知クラス学習における監督バイアスを低減するため、等角プロトタイプに基づく分類ヘッドを導入する。
• ソフト疑似ラベル生成と表現学習を交互に最適化する二段階最適化アルゴリズムを設計し、統合的最適化を実現する。
• クラスターサイズ推定の動的調整を可能にするパラメータ化された不均衡要因w(τ)を用い、固定または学習可能なwよりも安定性と性能が向上する。
• 事前知識が欠如する状況下で新規クラス数を推定する新規手法を提案し、実世界への適用性を高める。
• 対照的学習と自己ラベリングの両目的を統合した損失関数を用い、教師なし事前学習と深層ニューラルネットワークの訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 既知クラスと新規クラスの両方が長尾分布に従う状況において、バランスの取れたデータを仮定しない新規クラス発見フレームワークは、効果的に機能するか？
• RQ2 新規クラス発見におけるクラス不均衡に強く、適応的かつ頑健な疑似ラベリングはどのように実現できるか？
• RQ3 等角プロトタイプは、長尾既知クラス学習における表現バイアスを低減しつつ、不均衡な新規クラスクラスタリングを支援できるか？
• RQ4 固定事前分布や一様割り当てと比較して、疑似ラベル生成に緩和された最適輸送定式化を用いることで、不均衡な設定下で性能が向上するか？
• RQ5 新規クラス数をエンドツーエンドで自己推定する手法は、実世界の展開において有効に機能するか？

主な発見

• 提案手法は、CIFAR100、ImageNet100、Herbarium19、iNaturalist18を含む全評価ベンチマークで最先端の性能を達成した。
• R^s=50およびR^u=50のImageNet100では、新規クラス精度が61.48%に達し、一様事前分布ベースライン（57.40%）および真の事前分布（42.40%）を顕著に上回った。
• 真の事前分布ベースラインと比較して、尾部クラスの精度が38.46ポイント向上し、クラスバイアスの強い緩和が確認された。
• 直接k次元のwを最適化する手法と比較して、適応的w(τ)のパrameterizationは、53.07%の尾部精度を達成し、真の事前分布下の14.27%よりも優れた性能と安定性を示した。
• t-SNE可視化により、等角プロトタイプは特に尾部クラスにおいて、学習可能な分類器と比較してより緊密で分離性の高い特徴クラスタを生成することが確認された。
• 繰り返し適用される二段階最適化プロセスは、ノイズの多い疑似ラベルへの過学習を効果的に低減し、ヘッド、中間、尾部クラスにわたる一般化性能を向上させた。