[論文レビュー] Novel Visual Category Discovery with Dual Ranking Statistics and Mutual Knowledge Distillation

Bingchen Zhao, Kai Han|arXiv (Cornell University)|Jul 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 10被引用数 38

ひとこと要約

この補足資料は、視覚カテゴリの新規発見のための双方向ランキング統計と相互知識蒸留を用いたデュアルランキング統計フレームワークの実装、オープンワールド半教師付き設定、アブレーション（ランキング統計、単一ブランチのバリアント）、定性的結果、学習詳細を説明します。

ABSTRACT

In this paper, we tackle the problem of novel visual category discovery, i.e., grouping unlabelled images from new classes into different semantic partitions by leveraging a labelled dataset that contains images from other different but relevant categories. This is a more realistic and challenging setting than conventional semi-supervised learning. We propose a two-branch learning framework for this problem, with one branch focusing on local part-level information and the other branch focusing on overall characteristics. To transfer knowledge from the labelled data to the unlabelled, we propose using dual ranking statistics on both branches to generate pseudo labels for training on the unlabelled data. We further introduce a mutual knowledge distillation method to allow information exchange and encourage agreement between the two branches for discovering new categories, allowing our model to enjoy the benefits of global and local features. We comprehensively evaluate our method on public benchmarks for generic object classification, as well as the more challenging datasets for fine-grained visual recognition, achieving state-of-the-art performance.

研究の動機と目的

• デュアルランキング統計と相互知識蒸留を用いて、新規ビジュアルカテゴリ発見を動機づけ、実現する。
• 見られたクラスと未見クラスの両方を含むオープンワールド半教師付きデータへの対応を拡張する。
• アブレーションと定性的分析を通じてロバスト性と設計選択を調査する。

提案手法

• ImageNet-1K上で800エポックのMoCo v2前学習で初期化する、あるいはCIFAR/Imagenet-1Kでの公正比較のためRotNetを用いる。
• データセット特有のエポック数で訓練し、慎重に選択された学習率スケジュールと減衰のマイルストーンを用いる。
• デュアルランキング統計（グローバルとローカル）を用いて、2つのブランチ間の相互学習のための正例/負例を生成する。
• オープンワールド半教師付き設定のために分類ヘッドをC^l + C^uとして出力するよう拡張し、ラベル付きデータにはクロスエントロピー、ラベルなしデータには二項交差エントロピーを適用する。
• 見られたクラスへの偏りを防ぐため、正則化手法（L2正規化、均一分布へのKLダイバージェンス）を適用する。
• 相互学習損失（sKLD対JSD）を比較し、同等の性能を示す。

実験結果

リサーチクエスチョン

• RQ1 デュアルグローバル/ローカルランキング統計は、相互知識蒸留を介して新規カテゴリ発見を改善できるのか？
• RQ2 オープンワールド半教師付きデータ（見られたクラスと未見クラス）は、発見と分類性能にどう影響するか？
• RQ3 ランキング統計におけるkの変化が性能とロバスト性に与える影響は？
• RQ4 2つのブランチによる相互学習フレームワークと比較して、単一ブランチ版は実用性があるか？
• RQ5 異なる相互学習損失（sKLD対JSD）は結果に有意な影響を及ぼすか？

主な発見

• オープンワールド半教師付き設定の下で、提案手法はImageNet-100の新規クラスでDTC、RankStat、ORCAを上回り、見られたクラスではORCAと同等の性能を示す。
• デュアルランキング統計での2ブランチ相互学習は、いくつかのベースラインと比較して精度が高い（例：CIFAR-10 91.6%（監視付きファインチューニングなし））。
• ソフトランキング統計はデータセットを問わず一般にロバストで、コサイン類似度のベースラインを上回る。
• 追加の監視付きファインチューニング段階は提案手法に顕著な利点をもたらさなかった。