[論文レビュー] Automatically Discovering and Learning New Visual Categories with Ranking Statistics

Kai Han, Sylvestre-Alvise Rebuffi+3 more|arXiv (Cornell University)|Feb 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 55

ひとこと要約

本論文は、ラベル付きデータを転移に利用するためのラベルなしデータから新しい視覚カテゴリを自動的に発見・学習する、自己教師ありでランク統計ベースの手法を提案し、忘却を避けるための共訓練と一貫性正則化を用いる。

ABSTRACT

We tackle the problem of discovering novel classes in an image collection given labelled examples of other classes. This setting is similar to semi-supervised learning, but significantly harder because there are no labelled examples for the new classes. The challenge, then, is to leverage the information contained in the labelled images in order to learn a general-purpose clustering model and use the latter to identify the new classes in the unlabelled data. In this work we address this problem by combining three ideas: (1) we suggest that the common approach of bootstrapping an image representation using the labeled data only introduces an unwanted bias, and that this can be avoided by using self-supervised learning to train the representation from scratch on the union of labelled and unlabelled data; (2) we use rank statistics to transfer the model's knowledge of the labelled classes to the problem of clustering the unlabelled images; and, (3) we train the data representation by optimizing a joint objective function on the labelled and unlabelled subsets of the data, improving both the supervised classification of the labelled data, and the clustering of the unlabelled data. We evaluate our approach on standard classification benchmarks and outperform current methods for novel category discovery by a significant margin.

研究の動機と目的

• 新しいクラスのラベル付き例なしで新しい視覚クラスを自動的に発見する動機付け。
• ラベル付きデータとラベルなしデータの自己監視によってラベルバイアスを回避する表現学習パイプラインを提案する。
• 新しいクラスをクラスタリングするために、ラベル付きデータからラベルなしデータへ知識を転送するランク統計を導入する。
• ラベル付きデータとラベルなしデータを共同訓練して破局的忘却を防ぎ、監督付き学習とクラスタリングの両方の性能を向上させる。
• 分類タスク内で発見されたクラスを拡張するためのインクリメンタル学習を検討する。

提案手法

• ラベル付きデータとラベルなしデータの結合集合に対して自己教師あり学習（RotNet）でCNN表現 Φ を事前学習し、ラベル付きデータからのバイアスを回避する。
• 最後の層をラベル付きデータで微調整して C^l の分類器を学習しつつ、表現を堅牢に保つ。
• トップ-k の活性化インデックスで未ラベル画像表現を比較するランク統計を用いて、ノイズのあるペアワイズ疑似ラベル s_ij を生成する。
• 疑似ラベル駆動のクラスタリングを生み出すため、未ラベルのペアの類似度スコアを計算する新しいヘッド η^u を BCE ロスで訓練する。
• ラベル付きデータ上の L_CE と未ラベルデータ上の L_BCE を一緒に最適化し、一貫性正則化項 L_MSE を用いて学習を安定化する。
• 任意で、分類器ヘッドを拡張して C^u の新クラスを追加し、未ラベルデータには疑似ラベルを用いるインクリメンタル学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータと未ラベルデータを結合した自己教師あり学習は、ラベル付きデータのみからブートストラップするよりも一般的な表現を生むことができるか。
• RQ2 未ラベルの画像埋め込みのランクベース比較は、新規視覚カテゴリのクラスタリングに有効な疑似ラベルを生成できるか。
• RQ3 ラベル付きデータと未ラベルデータの共同訓練は忘却を防ぎ、認識とクラスタリングの両方の性能を向上させるか。
• RQ4 新たに発見されたカテゴリを既存クラスと統合するインクリメンタル学習は、古いクラスの性能をバイアスなしに保つ上で有効か。
• RQ5 標準ベンチマークで提案手法は最先端の新規カテゴリ発見法とどのように比較されるか。

主な発見

• ラベル付きデータと未ラベルデータの結合での自己教師あり事前学習は、既知クラスへのバイアスを減らし、堅牢な低レベル特徴を生み出す。
• トップ-k 活性化集合を用いるランク統計は、未ラベルデータの疑似ラベルを生成する頑健なメカニズムを提供し、新しいカテゴリの効果的なクラスタリングを可能にする。
• ラベルデータの教師付き損失と未ラベルデータのクラスタリング損失を一緒に最適化し、一貫性正則化を用いると、性能が向上し、ターゲットドリフトを緩和する。
• 本手法は CIFAR-10、CIFAR-100、SVHN、OmniGlot、ImageNet のベンチマークで最先端の新規カテゴリ発見結果を達成する。
• インクリメンタル学習は、旧クラスと新クラスを結合した分類器を有効にすることで精度をさらに向上させ、旧カテゴリと新カテゴリの両方で強い性能を示す。