[論文レビュー] Task-Adaptive Negative Class Envision for Few-Shot Open-Set Recognition

Shiyuan Huang, Jiawei Ma+2 more|arXiv (Cornell University)|Dec 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 4

ひとこと要約

本稿では、少数ショットオープンセット認識（FSOR）のためのタスク適応型ネガティブクラスの想像を提案する。少数ショット例からネガティブプロトタイプを動的に生成することで、手動のしきい値調整を排除する適応的拒否境界を学習する。本手法は、クラス相関に配慮したネガティブ生成を学習プロセスに統合することにより、FSORおよび一般化FSORベンチマークの両方で性能を向上させる。

ABSTRACT

We study the problem of few-shot open-set recognition (FSOR), which learns a recognition system capable of both fast adaptation to new classes with limited labeled examples and rejection of unknown negative samples. Traditional large-scale open-set methods have been shown ineffective for FSOR problem due to data limitation. Current FSOR methods typically calibrate few-shot closed-set classifiers to be sensitive to negative samples so that they can be rejected via thresholding. However, threshold tuning is a challenging process as different FSOR tasks may require different rejection powers. In this paper, we instead propose task-adaptive negative class envision for FSOR to integrate threshold tuning into the learning process. Specifically, we augment the few-shot closed-set classifier with additional negative prototypes generated from few-shot examples. By incorporating few-shot class correlations in the negative generation process, we are able to learn dynamic rejection boundaries for FSOR tasks. Besides, we extend our method to generalized few-shot open-set recognition (GFSOR), which requires classification on both many-shot and few-shot classes as well as rejection of negative samples. Extensive experiments on public benchmarks validate our methods on both problems.

研究の動機と目的

• 少数ショットオープンセット認識（FSOR）におけるしきい値調整の課題に対処する。ここでは、多様なタスクにおいて手動のキャリブレーションが信頼できない。
• 従来のスケールの大きなオープンセット手法が、FSORに一般的な低データ環境では限界に達することを克服する。
• 少数ショット文脈に適応する動的でタスク固有の拒否境界を学習することで、拒否性能を向上させる。
• 未知クラスを含む少数ショットクラスと多数ショットクラスが共存する状況を想定した一般化少数ショットオープンセット認識（GFSOR）にフレームワークを拡張する。
• 分類器の学習プロセスにネガティブプロトタイプ生成を統合し、未知サンプルに対するモデルの内蔵感受性を付与する。

提案手法

• 各少数ショットタスクのサポートセットから導出された追加のネガティブプロトタイプを、少数ショット閉じたセット分類器に追加する。
• 少数ショット例間のクラス相関を用いてネガティブプロトタイプを生成することで、意味的関連性と多様性を確保する。
• 学習済みネガティブプロトタイプと既知クラスを区別できるように分類器を最適化することで、動的拒否境界を学習する。
• 学習済みネガティブプロトタイプを関数として拒否境界を定式化し、外部のしきい値調整なしにタスク固有の適応を可能にする。
• 未知サンプルの拒否を維持したまま、既知の少数ショットおよび多数ショットクラスを統合的にモデル化することで、GFSORにフレームワークを拡張する。
• 生成されたネガティブプロトタイプを介した分類とオープンセット識別を統合する一貫した目的関数を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 少数ショット例からのネガティブプロトタイプ生成は、手動のしきい値調整を不要とし、動的でタスク適応型の拒否境界を実現できるか？
• RQ2 ネガティブプロトタイプ生成にクラス相関を組み込むことで、少数ショットオープンセット認識における一般化性能と拒否性能がどのように向上するか？
• RQ3 提案手法は、より複雑な一般化少数ショットオープンセット認識（GFSOR）設定にどの程度一般化可能か？
• RQ4 固定しきい値戦略に依存する既存のFSOR手法と比較して、提案手法の性能はどの程度か？
• RQ5 学習プロセスにネガティブクラスの想像を統合することで、多様な少数ショットタスクにわたるより強固で一貫性のあるオープンセット認識が達成できるか？

主な発見

• 提案手法は、タスク適応型拒否境界を学習することで、公開の少数ショットオープンセット認識ベンチマークで最先端の性能を達成する。
• クラス相関を用いたネガティブプロトタイプ生成により、多様な少数ショットタスクにおいて一般化性能と未知サンプルに対するロバストネスが向上する。
• 既存のFSORアプローチにおける主な制限要因である手動のしきい値調整の必要性が排除される。
• 一般化少数ショットオープンセット認識（GFSOR）設定において、少数ショットおよび多数ショットクラスの両方で強力な性能を維持するとともに、未知サンプルの効果的な拒否が可能である。
• 広範なアブレーションスタディにより、クラス相関に基づくネガティブプロトタイプ生成が、ランダムまたは非相関的なネガティブサンプリングと比較して、拒否精度を顕著に向上させることを確認した。