[論文レビュー] Mutual Information-guided Knowledge Transfer for Novel Class Discovery

Chuyu Zhang, Chuanyang Hu+4 more|arXiv (Cornell University)|Jun 24, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、制限付きラベル空間内で相互情報量を最大化することにより、既知のクラスと未知のクラスの間の意味的関係を明示的にモデル化する、相互情報量誘導型知識移行手法を提案する。相互情報量を活用して意味的知識を整列させることで、複数のベンチマークで最先端の性能を達成し、従来の手法を著しく上回る。

ABSTRACT

We tackle the novel class discovery problem, aiming to discover novel classes in unlabeled data based on labeled data from seen classes. The main challenge is to transfer knowledge contained in the seen classes to unseen ones. Previous methods mostly transfer knowledge through sharing representation space or joint label space. However, they tend to neglect the class relation between seen and unseen categories, and thus the learned representations are less effective for clustering unseen classes. In this paper, we propose a principle and general method to transfer semantic knowledge between seen and unseen classes. Our insight is to utilize mutual information to measure the relation between seen classes and unseen classes in a restricted label space and maximizing mutual information promotes transferring semantic knowledge. To validate the effectiveness and generalization of our method, we conduct extensive experiments both on novel class discovery and general novel class discovery settings. Our results show that the proposed method outperforms previous SOTA by a significant margin on several benchmarks.

研究の動機と目的

• 既知のクラスから未知のクラスへの意味的知識移行の限界を解消するため、クラス関係を無視する既存手法の欠点を是正すること。
• 既知のカテゴリと未知のカテゴリの間の意味的関係を明示的にモデル化することで、未知クラスにおけるクラスタリング性能を向上させること。
• 標準的および一般未知クラス発見設定の両方で有効である、一般的で原理的根拠のある知識移行フレームワークの構築。

提案手法

• 制限付きラベル空間内で、既知クラスと未知クラスの表現間の相互情報量を最大化することで、意味的関係を捉える。
• 既知クラスと未知クラスの間での意味的知識の整合性を促進する最適化問題として、知識移行を定式化する。
• 特徴の識別性を向上させるとともに、既知クラスと未知クラスの埋め込み間の相互情報量を保持するように、対照学習の目的関数を採用する。
• フレームワークは汎用的であり、標準的および一般未知クラス発見設定の両方に適用可能である。
• 予測ラベルと既知クラスの真のラベルの間の相互情報量が計算される表現空間で動作する。
• 勾配ベース最適化によるエンドツーエンド学習を可能にするために、相互情報量の微分可能近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 未知クラスにラベルデータが存在しない状況下で、どのようにして既知クラスから未知クラスへの意味的知識を効果的に移行できるか？
• RQ2 既知クラスと未知クラスの間のクラス関係をモデル化することで、未知クラスにおけるクラスタリング性能がどの程度向上するか？
• RQ3 相互情報量は、少数ショットおよびゼロショットクラス発見における知識移行のための信頼性があり効果的なインダクティブバイアスとして機能するか？
• RQ4 提案手法は、一般未知クラス発見を含む、異なるベンチマークや設定において、どの程度一般化可能か？
• RQ5 相互情報量の最大化は、共通の表現空間や共同ラベル空間といった他の知識移行メカニズムと比較して、相対的にどの程度寄与しているか？

主な発見

• 提案手法は、未知クラス発見のための複数のベンチマークデータセットで最先端の性能を達成した。
• 従来のSOTA手法を著しく上回り、特に未知クラスにおけるクラスタリング精度の向上が明確に示された。
• 相互情報量を知識移行信号として用いることで、既知カテゴリと未知カテゴリの間でより意味的に整合性の高い表現が得られた。
• 未知クラスの数が事前に固定されていない一般未知クラス発見設定に対しても、良好な一般化性能を示した。
• 実験結果から、相互情報量の最大化がクラス間の意味的関係を効果的に捉え、下流のクラスタリング性能を向上させることを示した。
• アブレーションスタディにより、共通表現空間や共同ラベル空間の手法と比較して、相互情報量に基づく知識移行がより効果的であることが確認された。