[論文レビュー] MetaGCD: Learning to Continually Learn in Generalized Category Discovery

Yanan Wu, Zhixiang Chi+2 more|arXiv (Cornell University)|Aug 21, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

MetaGCDは、継続的汎用的カテゴリ発見（C-GCD）のためのメタラーニングフレームワークを提案する。このフレームワークにより、モデルは、既知のカテゴリと新しいカテゴリが混在するラベルなしデータから段階的に新しいカテゴリを発見可能であり、同時に深刻な忘却を最小限に抑える。メタ最適化とソフト近傍対照損失を活用することで、MetaGCDはベンチマーク全体で最終的な新しいカテゴリの正確性においてベースラインを最大6.25%上回る最先端の性能を達成する。

ABSTRACT

In this paper, we consider a real-world scenario where a model that is trained on pre-defined classes continually encounters unlabeled data that contains both known and novel classes. The goal is to continually discover novel classes while maintaining the performance in known classes. We name the setting Continual Generalized Category Discovery (C-GCD). Existing methods for novel class discovery cannot directly handle the C-GCD setting due to some unrealistic assumptions, such as the unlabeled data only containing novel classes. Furthermore, they fail to discover novel classes in a continual fashion. In this work, we lift all these assumptions and propose an approach, called MetaGCD, to learn how to incrementally discover with less forgetting. Our proposed method uses a meta-learning framework and leverages the offline labeled data to simulate the testing incremental learning process. A meta-objective is defined to revolve around two conflicting learning objectives to achieve novel class discovery without forgetting. Furthermore, a soft neighborhood-based contrastive network is proposed to discriminate uncorrelated images while attracting correlated images. We build strong baselines and conduct extensive experiments on three widely used benchmarks to demonstrate the superiority of our method.

研究の動機と目的

• 既存手法の限界に対処する。これらの手法は、ラベルなしデータに新しいカテゴリしか含まないと仮定しているか、繰り返し再訓練を必要としている。
• 現実的で継続的な学習設定を提案する——継続的汎用的カテゴリ発見（C-GCD）——ここでモデルは時間の経過とともに、既知のカテゴリと新しいカテゴリが混在するデータに遭遇する。
• 完全に学習されたエンドツーエンドのフレームワークを用いて、新しいカテゴリの段階的発見を可能にするとともに、深刻な忘却を最小限に抑える。
• 事前学習段階でオフラインのラベル付きデータを活用し、将来の継続的学習タスクに備える。これにより、ヒューリスティックまたは手作業で設計された戦略を回避する。

提案手法

• MetaGCDは、2つの相反する目的を組み合わせたメタ目的を通じて、新しいカテゴリ発見と知識保持のバランスを最適化するメタラーニングフレームワークを採用する。
• 本手法は、インスタンスとその近隣との相関重みを計算することで、正例ペairを定義するソフト近傍ベースの対照学習モジュールを用いる。これにより、より頑健な特徴学習が可能になる。
• 微分可能なアテンション機構が近隣にソフト相関スコアを割り当てることで、モデルは関連性の高いサンプルに注目し、関係の薄いサンプルを抑制できる。
• メタ最適化ループによりモデルを訓練する。各内部更新は、段階的学習セッションをシミュレートし、メタ更新は既知カテゴリと新しいカテゴリの両方の性能を組み合わせた損失を最小化する。
• フレームワークは、将来の段階的学習セッションをシミュレートするためにオフラインのラベル付きデータで訓練される。これにより、モデルは継続的学習環境で「どう学ぶか」を学習できる。
• 類似度しきい値やメタトレーニングにおける新しいカテゴリ数といったハイパーパrameterは、最適なパフォーマンスを得るために分析・調整されている。

Figure 1 : Illustration of our C-GCD setting . During the offline training, we learn an initial model based on training samples of the labeled set. During each subsequent online incremental learning, we are given some unlabeled images belonging to both known and novel classes. Our goal is to update

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータに既知のカテゴリと新しいカテゴリが混在する現実世界の設定において、オフラインで学習したモデルが、継続的に新しいカテゴリを発見する能力を学ぶことは可能か？
• RQ2 メタラーニングを活用することで、継続的学習における新しいカテゴリ発見と忘却の緩和を同時に最適化することは可能か？
• RQ3 インスタンスとその近隣との間のソフト相関モデリングが、表現品質と分類正確性に与える影響は何か？
• RQ4 メタトレーニングにおける新しいカテゴリの数が、モデルが新しい段階的タスクに一般化する能力に与える影響は何か？
• RQ5 バイナリの正例／負例ラベル付けに比べて、ソフト正例性を備えた対照学習目的は、継続的発見のパフォーマンスにどの程度向上効果をもたらすか？

主な発見

• CIFAR100では、VanillaGCDベースラインに比べて最終的な新しいカテゴリの正確性が6.25%向上し、3つのベンチマーク全体で最終的なすべてのカテゴリの正確性は3.12%と4.09%向上した。
• ソフト近傍対照学習モジュールにより、新しいカテゴリの正確性が1.66ポイント上昇（62.89%から64.55%に）。これは、より洗練された正例ペア選択を可能にする。
• 近隣選択のしきい値として0.85が最適なパフォーマンスをもたらし、関連のあるサンプルの含め方と誤検出の除外のバランスを取る。
• メタラーニングは一般化性能を顕著に向上させ、発見と保持の両方を明示的に最適化することで、最終的なすべてのカテゴリの正確性を74.56%まで向上させた。
• メタトレーニングでより多くの新しいカテゴリ（例：10個）を用いて訓練したモデルは、少ないクラスよりも頑健性と一般化性能に優れ、過学習のリスクが低減された。
• 混同行列の結果、MetaGCDは予測を対角線に集中させていることが示され、既知カテゴリおよび新しいカテゴリの両方の分類性能が向上し、忘却が減少していることが確認された。

Figure 2 : Overview of the proposed MetaGCD . (a) Our soft neighborhood contrastive learning network aims to discriminate uncorrelated instances while absorbing correlated instances to learn discriminative representations. (b) Our meta-learning optimization strategy utilizes the offline labeled data