[論文レビュー] Few-shot Open-set Recognition by Transformation Consistency

Minki Jeong, Seokeon Choi+1 more|arXiv (Cornell University)|Mar 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 6

ひとこと要約

本論文は、偽の未学習データに依存せずに変換一貫性を活用することで、未知クラスのサンプルを検出する新しい少サンプルオープンセット認識手法SnaTCHerを提案する。変換されたプロトタイプと、クエリ特徴がその予測クラスプロトタイプに置き換えられた変更されたプロトタイプ集合との乖離を測ることで、未学習サンプルの検出を向上させ、閉じたセット分類性能を損なうことなく、複数の少サンプルベンチマークで最先端のAUROCスコアを達成する。

ABSTRACT

In this paper, we attack a few-shot open-set recognition (FSOSR) problem, which is a combination of few-shot learning (FSL) and open-set recognition (OSR). It aims to quickly adapt a model to a given small set of labeled samples while rejecting unseen class samples. Since OSR requires rich data and FSL considers closed-set classification, existing OSR and FSL methods show poor performances in solving FSOSR problems. The previous FSOSR method follows the pseudo-unseen class sample-based methods, which collect pseudo-unseen samples from the other dataset or synthesize samples to model unseen class representations. However, this approach is heavily dependent on the composition of the pseudo samples. In this paper, we propose a novel unknown class sample detector, named SnaTCHer, that does not require pseudo-unseen samples. Based on the transformation consistency, our method measures the difference between the transformed prototypes and a modified prototype set. The modified set is composed by replacing a query feature and its predicted class prototype. SnaTCHer rejects samples with large differences to the transformed prototypes. Our method alters the unseen class distribution estimation problem to a relative feature transformation problem, independent of pseudo-unseen class samples. We investigate our SnaTCHer with various prototype transformation methods and observe that our method consistently improves unseen class sample detection performance without closed-set classification reduction.

研究の動機と目的

• 少サンプルオープンセット認識（FSOSR）の課題に対処する。この課題では、わずかなラベル付き例しか与えられていない状況で、既知クラスの分類と未知クラスの検出を行う必要がある。
• 既存手法が偽の未学習サンプルの品質と構成に強く依存するという限界を克服する。
• 未学習サンプルを必要とせず、モデルに依存しないアプローチを用いて、少サンプル状況における未知サンプルの検出を実現する。
• 閉じたセット分類精度を著しく損なわずに、未知サンプル検出性能を大幅に向上させる。

提案手法

• クエリの予測プロトタイプをクエリ特徴そのものに置き換えた後、特徴の一貫性を評価する変換一貫性に基づく検出器SnaTCHerを提案する。
• タスク適応型特徴変換器を用いて、相対的な特徴関係を保持する変換されたプロトタイプ空間を生成する。
• プロトタイプ置き換え後のクエリとその最も近い変換プロトタイプとの間の正規化距離スコアを計算し、異常を検出する。
• 正規化ベースおよびメトリックベースの変換手法を複数用いることで、検出のロバスト性を向上させる。
• 特徴抽出器は標準的な少サンプル学習の目的関数に従ってエンドツーエンドで訓練するが、SnaTCHerは推論時にプラグイン型検出器として動作する。
• 変換によって生じる乖離の大きさを信頼度スコアとして使用する：乖離が大きいほど、未知サンプルである可能性が高くなる。

実験結果

リサーチクエスチョン

• RQ1 少サンプルオープンセット認識システムは、偽の未学習データや未知クラスの分布的仮定に依存せずに、未知サンプルを検出できるか？
• RQ2 低データ環境下において、変換一貫性は直接距離ベースの手法に比べて未知サンプル検出をどのように改善するか？
• RQ3 SnaTCHerは、オープンセット検出性能を向上させる一方で、閉じたセット分類精度をどの程度維持できるか？
• RQ4 実世界の少サンプル状況において、未知サンプルの数や分布の変化に対してSnaTCHerはどの程度ロバストか？
• RQ5 SnaTCHerは、既知クラスと未知クラスが異なるデータ分布からのものであるようなドメインシフトに対しても一般化可能か？

主な発見

• SnaTCHerは、tieredImageNet-CUB 5ショットクロスドメインFSOSRベンチマークで91.83%の最先端AUROCを達成し、PEELERを著しく上回った。
• 5ウェイ5ショットのtieredImageNetベンチマークでは、SnaTCHer-Lが82.03%のAUROCを達成し、以前の最高手法（PEELER）を6ポイント以上上回った。
• SnaTCHerは高い閉じたセット分類精度を維持している。例として、tieredImageNet 5ウェイ1ショットでは70.85%の精度を示し、未知検出性能の向上に伴い性能劣化が見られなかった。
• アブレーションスタディでは、未知データの数の変化に対しても性能が安定しており、SnaTCHerの未知サンプル数の変動に対するロバスト性が示された。
• ヒストограмの分析から、既知サンプルはプロトタイプに対して著しく小さい正規化距離を持つのに対し、未知サンプルはそれより大きいことが確認され、分離可能な特徴空間という仮定が妥当であることが裏付けられた。
• 変換一貫性の活用により、既知と未知のサンプル間の分離が強化され、直接距離ベースのスコアリングに比べてより高いAUROCが得られた。