[論文レビュー] OpenCon: Open-world Contrastive Learning

Yiyou Sun, Yixuan Li|arXiv (Cornell University)|Aug 4, 2022

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

本論文では、プロトタイプベースの戦略と疑似正例ペairsを用いて、既知クラスと未知クラスの両方のコンact表現を同時に学習する、新規のオープンワールド対照学習フレームワークOpenConを提案する。SOTAの性能を達成しており、前回のSOTA手法ORCAよりも、未知クラスのImageNet精度で11.9%、全体の精度で7.4%優れている。理論的裏付けはEMアルゴリズムの解釈に基づいている。

ABSTRACT

Machine learning models deployed in the wild naturally encounter unlabeled samples from both known and novel classes. Challenges arise in learning from both the labeled and unlabeled data, in an open-world semi-supervised manner. In this paper, we introduce a new learning framework, open-world contrastive learning (OpenCon). OpenCon tackles the challenges of learning compact representations for both known and novel classes and facilitates novelty discovery along the way. We demonstrate the effectiveness of OpenCon on challenging benchmark datasets and establish competitive performance. On the ImageNet dataset, OpenCon significantly outperforms the current best method by 11.9% and 7.4% on novel and overall classification accuracy, respectively. Theoretically, OpenCon can be rigorously interpreted from an EM algorithm perspective--minimizing our contrastive loss partially maximizes the likelihood by clustering similar samples in the embedding space. The code is available at https://github.com/deeplearning-wisc/opencon.

研究の動機と目的

• ラベルなしデータに既知クラスと未知クラスが共存するオープンワールド設定において、頑健な表現を学習する課題に対処すること。
• 未知クラスの数の事前知識が不要な状態で、同時に表現学習と未知性発見を可能にすること。
• 従来の対照学習および半教師あり学習手法におけるクローズドワールド仮定の制限を克服すること。
• CNNおよびTransformerアーキテクチャの両方と互換性がある統合的かつエンドツーエンドで訓練可能なフレームワークの開発

提案手法

• 進化する表現から動的に更新されるクラスプロトタイプを用いたプロトタイプベースの学習戦略を導入し、ラベルなしデータにおける既知クラスと未知クラスの区別を可能にする。
• 最も近いプロトタイプに基づいて疑似正例ペアを生成し、同じ予測クラス内に類似したサンプルがクラスタリングされる対照学習を可能にする。
• 同じ近似ラベルを持つサンプルを一致させることで、既知クラスおよび未知クラスの両方の表現をコンパクトにクラスタリングするように促進する対照損失関数を採用する。
• 最適化プロセスを期待最大化（EM）の観点から解釈し、クラスタリングを通じて尤度を部分的に最大化することを示す。
• エンドツーエンドの訓練をサポートし、CNNやTransformerを含むさまざまなディープラーニングアーキテクチャと互換性を持つ。
• 最近接の既知クラスプロトタイプからの距離を用いた分布外（OOD）検出を組み込み、暗黙的かつ未知性発見を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータに既知クラスと未知クラスが共存する状況で、表現学習フレームワークが両者を効果的に区別する方法は何か？
• RQ2 教師なし条件下で、既知クラスのコンパクトな表現学習と未知クラスの発見を同時に実現できる対照学習アプローチは設計可能か？
• RQ3 提案された対照損失とオープンワールド学習におけるクラスタリングや尤度最大化との理論的関連性は何か？
• RQ4 プロトタイプベースの戦略は、既存のオープンワールド半教師あり学習手法と比較して、性能向上にどのように寄与するか？
• RQ5 訓練時に未知クラスの数が不明な状況でも、このフレームワークは良好に一般化できるか？

主な発見

• ImageNetデータセットにおいて、OpenConは前回のSOTA手法ORCAと比較して、未知クラス精度で11.9%、全体精度で7.4%高い結果を達成した。
• 未知クラスの数を事前に把握しない状況でも、OpenConは競争力のある性能を示し、数が事前に与えられているオラクル設定と同等またはわずかに優れた性能を発揮した。
• 広範なアブレーションスタディにより、プロトタイプベースの戦略および疑似正例ペア生成メカニズムの有効性が確認された。
• CNNやTransformerを含むさまざまなアーキテクチャにおいて、フレームワークは強い一般化性能を示した。
• 理論的分析により、対照損失の最小化がクラスタリングを通じて尤度最大化に対応することを示し、厳密なEMに基づく解釈が得られた。
• 最近接の既知クラスプロトタイプからの距離は、有効なOOD検出信号を提供し、既存の手法と同等の性能を示した。