[論文レビュー] Neighborhood Contrastive Learning for Novel Class Discovery

Zhun Zhong, Enrico Fini+4 more|arXiv (Cornell University)|Jun 20, 2021

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

本論文は、特徴空間内の局所的近傍を偽正例として活用し、ラベル付きおよびラベルなし特徴の混合によってハードネガティブを生成することで、新規クラス発見（NCD）のためのネイバー・コンタスティブ・ラーニング（NCL）を提案する。この手法は最先端の性能を達成し、従来手法と比較してCIFAR-100で+13%、ImageNetで+8%のクラスタリング精度向上を達成した。

ABSTRACT

In this paper, we address Novel Class Discovery (NCD), the task of unveiling new classes in a set of unlabeled samples given a labeled dataset with known classes. We exploit the peculiarities of NCD to build a new framework, named Neighborhood Contrastive Learning (NCL), to learn discriminative representations that are important to clustering performance. Our contribution is twofold. First, we find that a feature extractor trained on the labeled set generates representations in which a generic query sample and its neighbors are likely to share the same class. We exploit this observation to retrieve and aggregate pseudo-positive pairs with contrastive learning, thus encouraging the model to learn more discriminative representations. Second, we notice that most of the instances are easily discriminated by the network, contributing less to the contrastive loss. To overcome this issue, we propose to generate hard negatives by mixing labeled and unlabeled samples in the feature space. We experimentally demonstrate that these two ingredients significantly contribute to clustering performance and lead our model to outperform state-of-the-art methods by a large margin (e.g., clustering accuracy +13% on CIFAR-100 and +8% on ImageNet).

研究の動機と目的

• 分離されたクラスを持つラベル付きデータセットが利用可能な状況で、ラベルなしデータにおける新規クラスの発見という課題に対処すること。
• 対照的ラーニングを通じてより判別性の高い表現を学習することで、NCDにおけるクラスタリング性能を向上させること。
• 標準的な対照的ラーニングの制限を克服するため、局所的近傍サンプルを追加の偽正例として組み込むこと。
• ラベル付きおよびラベルなしサンプルの特徴空間における混合により、より多様で困難なネガティブサンプルを生成することで、ネガティブサンプリングを強化すること。
• 近傍対照的ラーニングとハードネガティブ生成を組み合わせることで、ベンチマークデータセットにおけるクラスタリング精度が顕著に向上することを示すこと。

提案手法

• NCLは、特徴空間内でのクエリサンプルのk近傍近傍（KNN）を特定し、それらを偽正例として扱って対照的ラーニング信号を強化する。
• メモリバンクを用いて特徴を保存し、トレーニング中に各クエリに対してKNNの効率的検索を可能にする。
• 同一サンプルの拡張ビューと、同じ意味的クラスに属するKNNを含む2種類の正例ペairに対して対照的損失を最適化する。
• ラベル付きおよびラベルなしサンプルの特徴を特徴空間で混合することで、多様で困難なネガティブサンプルを生成する。
• 損失関数は、拡張正例と偽正例の両方の対照的損失を組み合わせており、両者の寄与度をバランスさせるための学習可能重みを備えている。
• シアンプスネットワークとモーメンタムエンコーダーを用いて、エンドツーエンドで訓練することで、クラスタリングに適した強固な特徴学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 埋め込み空間内の局所的近傍を、NCD設定における対照的ラーニングの偽正例として信頼性を持って使用できるか？
• RQ2 同一サンプルの近傍から複数の偽正例を組み込むことで、2つのビューのみを用いる標準的な対照的ラーニングと比較してクラスタリング性能が向上するか？
• RQ3 特徴空間におけるラベル付きおよびラベルなし特徴の混合により、効果的なハードネガティブを生成でき、対照的ラーニングを改善できるか？
• RQ4 偽正例の数とハードネガティブの数が、NCDにおけるモデル性能に与える影響は何か？
• RQ5 提案手法であるNCLにハードネガティブ生成を組み合わせることで、標準的なNCDベンチマークで既存の最先端手法を大きく上回る性能が得られるか？

主な発見

• 偽正例を用いたNCLは、ベースラインと比較してCIFAR-100で12.9ポイント、CIFAR-10で5.5ポイントのクラスタリング精度向上を達成した。
• 偽正例を削除した場合（NCL w/o PP）は、特にCIFAR-10において顕著に性能が低下し、精度が26.1ポイントも低下した。
• ハードネガティブ生成（HNG）を追加することでさらに性能が向上し、CIFAR-100では+17.2%、CIFAR-10では+5.5%の精度向上を達成した。
• 最適な偽正例の数は、|M|/C^uの約半分であり、CIFAR-100では|M|=2000、C^u=20としてk1=50が最適であった。
• 最も良い性能は、拡張正例損失の重みα=0.2、HNGにおける反復回数N=5、ネガティブサンプル数k2=400の設定で達成された。
• 本手法は最先端の結果を達成し、CIFAR-100およびImageNetベンチマークの両方で、従来のSOTA手法を大きく上回った。