[論文レビュー] OpenMix: Reviving Known Knowledge for Discovering Novel Visual Categories in An Open World

Zhun Zhong, Linchao Zhu+4 more|arXiv (Cornell University)|Apr 12, 2020

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

この論文では、既知のクラスからのラベル付き例と、未知のクラスからのラベルなし例を組み合わせることで、信頼性の高い偽ラベルを生成し、未知クラスの発見を向上させる、OpenMixと呼ばれる新しいデータ拡張手法を提案する。両方のデータタイプとその共同ラベル分布を混合することで、OpenMixはモデルのロバスト性を向上させ、CIFAR-10、CIFAR-100、ImageNetで最先端の性能を達成する。

ABSTRACT

In this paper, we tackle the problem of discovering new classes in unlabeled visual data given labeled data from disjoint classes. Existing methods typically first pre-train a model with labeled data, and then identify new classes in unlabeled data via unsupervised clustering. However, the labeled data that provide essential knowledge are often underexplored in the second step. The challenge is that the labeled and unlabeled examples are from non-overlapping classes, which makes it difficult to build the learning relationship between them. In this work, we introduce OpenMix to mix the unlabeled examples from an open set and the labeled examples from known classes, where their non-overlapping labels and pseudo-labels are simultaneously mixed into a joint label distribution. OpenMix dynamically compounds examples in two ways. First, we produce mixed training images by incorporating labeled examples with unlabeled examples. With the benefits of unique prior knowledge in novel class discovery, the generated pseudo-labels will be more credible than the original unlabeled predictions. As a result, OpenMix helps to prevent the model from overfitting on unlabeled samples that may be assigned with wrong pseudo-labels. Second, the first way encourages the unlabeled examples with high class-probabilities to have considerable accuracy. We introduce these examples as reliable anchors and further integrate them with unlabeled samples. This enables us to generate more combinations in unlabeled examples and exploit finer object relations among the new classes. Experiments on three classification datasets demonstrate the effectiveness of the proposed OpenMix, which is superior to state-of-the-art methods in novel class discovery.

研究の動機と目的

• ラベル付きデータが別々のクラスから得られる状況において、ラベルなしデータ内の未知の視覚的カテゴリを発見する課題に対処すること。
• 既存手法が教師なしクラスタリング中にラベル付きデータを十分に活用できないという制限を克服すること。
• 未知クラスの発見における誤った偽ラベルへの過学習を低減し、モデルの一般化性能を向上させること。
• ラベル付きデータからの事前知識を活用し、未知クラスのためのより信頼性が高く多様な訓練サンプルを生成すること。

提案手法

• 既知クラスからのラベル付き例と、未知クラスからのラベルなし例を組み合わせる二段階のデータ混合戦略であるOpenMixを導入する。
• ラベル付きおよびラベルなしサンプルからのラベルと偽ラベルを統合ラベル分布に拡張し、意味のある混合を可能にする。
• 既知クラスサンプルの高信頼度ラベルを用いて、混合サンプルの偽ラベルを安定化させ、未知クラス予測の不確実性を低減する。
• 高信頼度のラベルなしサンプルを信頼性の高いアンカーと特定し、それらを他のラベルなしサンプルとさらに混合することで特徴学習を強化する。
• ラベル信頼度を保持し、教師なしクラスタリング中にモデルの一般化性能を向上させる、変更されたMixUpスタイルの拡張を適用する。
• 学習可能な混合係数λ₂を備えたベースラインクラスタリングフレームワークにOpenMixを統合し、広い範囲の値に対してロバストである。

実験結果

リサーチクエスチョン

• RQ1 教師ありクラスタリングの過程で、分離されたクラスからのラベル付きデータを、未知クラス発見に効果的に活用する方法は何か？
• RQ2 ラベル付きとラベルなしサンプルを混合することで、オープンセット学習における偽ラベルの信頼性は向上するか？
• RQ3 高信頼度のラベルなしサンプルをアンカーとして組み込むことで、細分化された視覚的カテゴリの発見は向上するか？
• RQ4 OpenMixのようなデータ混合戦略は、未知クラス発見における誤った偽ラベルへの過学習を低減できるか？
• RQ5 OpenMixは、標準ベンチマークにおいて最先端手法と比較して、どの程度クラスタリング精度を向上させるか？

主な発見

• CIFAR-10では、OpenMixが95.3%のクラスタリング精度を達成し、以前の最先端手法（RS）を3.6ポイント上回った。
• CIFAR-100では、OpenMixが87.2%の精度に達し、ベースライン（81.2%）およびDTCのような最先端手法（72.8%）を大きく上回った。
• ImageNetでは、OpenMixが85.7%の精度を達成し、ベースライン（77.1%）および最先端手法RSを3.2ポイント上回った。
• ハイパーパrameter λ₂に対してロバストであり、最適な性能が[1000, 3000]の範囲で得られ、λ₂ = 1でも効果を発揮した。
• t-SNE可視化により、OpenMixがラベルなしサンプルを段階的に識別性が高く分離されたグループに逐次クラスタリングしていることが確認された。
• OpenMixは、3つのデータセットすべてにおいてベースラインを一貫して改善し、オープンワールド発見における既知の知識の活用の有効性を示した。