[論文レビュー] Grow and Merge: A Unified Framework for Continuous Categories Discovery

Xinwei Zhang, Jianwen Jiang+7 more|arXiv (Cornell University)|Oct 9, 2022

Text and Document Classification Technologies被引用数 14

ひとこと要約

本稿では、継続的に流入するラベルなしデータに対して、既存のカテゴリの性能を維持しながら新規カテゴリを発見できる統合的フレームワークであるGrow and Merge (GM) を提案する。GMは自己教師あり特徴拡張（成長フェーズ）と静的教師モデルを用いたモデル統合（統合フェーズ）を交互に繰り返すことで、劣化を抑えつつ、最先端の手法を著しく上回る性能を達成し、新規カテゴリ発見の精度も向上させる。

ABSTRACT

Although a number of studies are devoted to novel category discovery, most of them assume a static setting where both labeled and unlabeled data are given at once for finding new categories. In this work, we focus on the application scenarios where unlabeled data are continuously fed into the category discovery system. We refer to it as the {\bf Continuous Category Discovery} ({\bf CCD}) problem, which is significantly more challenging than the static setting. A common challenge faced by novel category discovery is that different sets of features are needed for classification and category discovery: class discriminative features are preferred for classification, while rich and diverse features are more suitable for new category mining. This challenge becomes more severe for dynamic setting as the system is asked to deliver good performance for known classes over time, and at the same time continuously discover new classes from unlabeled data. To address this challenge, we develop a framework of {\bf Grow and Merge} ({\bf GM}) that works by alternating between a growing phase and a merging phase: in the growing phase, it increases the diversity of features through a continuous self-supervised learning for effective category mining, and in the merging phase, it merges the grown model with a static one to ensure satisfying performance for known classes. Our extensive studies verify that the proposed GM framework is significantly more effective than the state-of-the-art approaches for continuous category discovery.

研究の動機と目的

• 継続的なラベルなしデータストリームに含まれる既存クラスと新規クラスの両方を扱う、現実世界の新規カテゴリ発見の課題に対処する。
• 既存クラスの識別的特徴と新規カテゴリ発見のための多様な特徴の間のトレードオフを克服する。
• 時間経過に伴い、既存クラスの高い性能を維持しながら、動的に新規クラスを発見する。
• ラベルなしデータストリームにおける継続的学習において、深刻な忘却を軽減する。
• 自己教師学習、モデル統合、動的特徴学習を統合する統一フレームワークを提案する。

提案手法

• 成長フェーズでは、自己教師学習（SimSiam、SimCLR）と仮ラベルを用いた交差エントロピー損失を用いて、ラベルなしデータ上でモデルを学習することで、特徴の多様性を高める。
• 統合フェーズでは、成長したモデルと静的教師モデルを重み付き平均（EMA）で統合することで、既存クラスの性能を保持する。
• 静的・動的ブランチアーキテクチャにより特徴学習を分離：静的ブランチは既存クラスの知識を維持し、動的ブランチは新しい特徴を探索する。
• 発見された新規カテゴリの仮ラベル付きサンプルと、既存クラスの少量の実際のラベル付きサンプルをメモリとして用い、学習の安定化と忘却の低減を図る。
• 静的ブランチと動的ブランチの特徴間の対照的損失（$\mathcal{L}_{\text{SD}}$）を採用することで、知識の整合性を保ちつつ多様性を維持する。
• 統合フェーズにおけるふnowing機構により、仮ラベル付きサンプルをフィルタリング・精錬し、耐性と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合的フレームワークは、継続的データストリームにおける既存カテゴリの分類性能と新規カテゴリ発見の両立を、効果的にバランスできるか？
• RQ2 既存クラスの性能を損なうことなく、新規カテゴリ発見のための特徴多様性を体系的に高めることは可能か？
• RQ3 自己教師学習とモデル統合を組み合わせることで、継続的カテゴリ発見における深刻な忘却をどれほど軽減できるか？
• RQ4 EMA、対照的損失、ふnowingといった異なる構成要素が、GMフレームワーク全体の性能にどのように寄与しているか？
• RQ5 本稿で提案するフレームワークは、既存クラスと未知クラスが混合した現実的なCCDシナリオにおいて、既存手法を上回る性能を示すか？

主な発見

• GMフレームワークは、テストセットで平均F1スコア9.87 ± 0.25、平均発見精度35.97 ± 1.28を達成し、最先端のベースラインを著しく上回る。
• アブレーションスタディの結果、EMAと$\mathcal{L}_{\text{SD}}$を併用することで、EMA単体よりも滑らかな学習と高い性能が得られることが示された。
• WTA + $\mathcal{L}_{\text{SD}}$ + SimSiamを用いた成長フェーズが最良のバランスを実現し、発見精度は34.81 ± 1.06を達成した。
• CE + 仮ラベル付け（PLL）を用いた統合フェーズが、既存クラスの性能（F1スコア8.83 ± 0.30）で最も優れており、他の統合戦略を上回った。
• 静的・動的ブランチ構造や$\mathcal{L}_{\text{SD}}$を削除すると、性能が著しく低下し、特徴の整合性と安定性に果たす重要性が確認された。
• 統合フェーズにおけるふnowing機構は耐性を向上させ、CCRおよびCRのバージョンでは、ふnowingなしと比較してF1誤差を最大1.5%まで低減した。