[論文レビュー] Parametric Classification for Generalized Category Discovery: A Baseline Study

Xin Wen, Bingchen Zhao+1 more|arXiv (Cornell University)|Nov 21, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、不安定な疑似ラベルと予測バイアスという問題を解決することで、従来のパラメトリック分類器の失敗を克服する、シンプルでありながら効果的な一般化カテゴリ発見（GCD）のためのパラメトリック分類手法を提案する。エントロピー正則化と自己蒸留を組み合わせることで、複数のGCDベンチマークで最先端の性能を達成するとともに、未知の新規カテゴリ数に対しても頑健性を維持する。

ABSTRACT

Generalized Category Discovery (GCD) aims to discover novel categories in unlabelled datasets using knowledge learned from labelled samples. Previous studies argued that parametric classifiers are prone to overfitting to seen categories, and endorsed using a non-parametric classifier formed with semi-supervised k-means. However, in this study, we investigate the failure of parametric classifiers, verify the effectiveness of previous design choices when high-quality supervision is available, and identify unreliable pseudo-labels as a key problem. We demonstrate that two prediction biases exist: the classifier tends to predict seen classes more often, and produces an imbalanced distribution across seen and novel categories. Based on these findings, we propose a simple yet effective parametric classification method that benefits from entropy regularisation, achieves state-of-the-art performance on multiple GCD benchmarks and shows strong robustness to unknown class numbers. We hope the investigation and proposed simple framework can serve as a strong baseline to facilitate future studies in this field. Our code is available at: https://github.com/CVMI-Lab/SimGCD.

研究の動機と目的

• 従来のパラメトリック分類器が一般化カテゴリ発見（GCD）においてなぜ失敗するのかを調査すること、特に新規カテゴリの認識に問題を引き起こす要因を特定すること。
• 誤った疑似ラベルと予測バイアス（既存クラスの過剰予測やラベル分布の不均衡など）が、性能劣化の根本的原因であると特定すること。
• 非パラメトリック手法よりも優れた性能を示しつつ、推論コストが低いシンプルで効果的なパラメトリック分類ベースラインを構築すること。
• エントロピー正則化が、特に未知のクラス数の下で予測のバランスと頑健性を向上させられることを示すこと。
• 今後のGCD研究のための強力で再現可能なベースラインを確立し、近年の非パラメトリック手法への傾向に挑戦すること。

提案手法

• 教師ありデータにおけるクロスエントロピー損失を用いて、バックボーンネットワークと共同でトレーニングするパラメトリック分類器を採用する。
• 未ラベルデータに対して自己蒸留を適用し、クラスタリングを明示的に行わずに柔らかく疑似ラベルを生成することで、一般化性能を向上させる。
• すべてのカテゴリに均等な予測分布を促進するためのエントロピー正則化項を導入し、既存クラスに偏った予測バイアスを是正する。
• 表現学習の目的関数は、先行研究（GCD [43]）と同一とし、表現学習ではなく分類性能の向上に焦点を当てる。
• 教師ありデータにおける監督学習と未ラベルデータにおける自己蒸留の間を交互に繰り返す共同最適化スキームを採用する。
• 既存カテゴリと新規カテゴリを統一された分類ヘッドに統合し、バランスの取れた予測ターゲットを持つエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強力な監督信号と表現学習が与えられているにもかかわらず、なぜパラメトリック分類器はGCDにおいて性能を発揮できないのか？
• RQ2 GCDにおける新規カテゴリへの一般化性能の劣化を引き起こす、モデル予測における具体的なバイアスは何か？
• RQ3 エントロピー正則化は、予測の不均衡を是正し、未学習クラスの性能向上に有効に働くか？
• RQ4 k-meansなどの非パラメトリック分類器と比較して、本手法は正確性、推論コスト、頑健性の観点でどのように差をつけるか？
• RQ5 新規カテゴリ数が未知の状況下でも、エントロピー正則化がどれほど頑健性を向上させられるか？

主な発見

• 従来のパラメトリック分類器の失敗は、主に不安定な疑似ラベルと既存クラスに偏った強い予測バイアスに起因する。
• 提案手法は、CIFAR-100、CUB、Tiny-ImageNetを含む複数のGCDベンチマークで最先端の性能を達成し、従来のパラメトリックおよび非パラメトリック手法を上回る。
• エントロピー正則化により、図9および図10の可視化結果から、よりバランスの取れた疑似ラベル分布が得られることを実証した。
• 新規カテゴリ数が未知の状況でも強い頑健性を示し、実世界の展開において顕著な利点を有する。
• トレーニング過程において、既存カテゴリと新規カテゴリの性能のトレードオフが観察され、バランスの取れた最適化の重要性が浮き彫りになった。
• 非パラメトリックなk-meansクラスタリングに比べ、推論コストが低く抑えられており、大規模データセットでは二次の計算複雑性に苦しむ点を補っている。