[論文レビュー] Glocal Energy-based Learning for Few-Shot Open-Set Recognition

Haoyu Wang, Guansong Pang+4 more|arXiv (Cornell University)|Apr 24, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、グローバル（クラス別）およびローカル（ピクセル別）特徴表現を組み合わせてglocalエネルギー点数を計算する、新規の少サンプルオープンセット認識フレームワークであるGlocal Energy-based Learning (GEL) を提案する。グローバルな意味的特徴や詳細な外観に逸脱するサンプルに対して高いエネルギー点数を割り当てることで、3つのベンチマークデータセットで最先端の性能を達成し、閉じたセットの正確性とオープンセット検出（AUROC）の両面で既存手法を上回る。

ABSTRACT

Few-shot open-set recognition (FSOR) is a challenging task of great practical value. It aims to categorize a sample to one of the pre-defined, closed-set classes illustrated by few examples while being able to reject the sample from unknown classes. In this work, we approach the FSOR task by proposing a novel energy-based hybrid model. The model is composed of two branches, where a classification branch learns a metric to classify a sample to one of closed-set classes and the energy branch explicitly estimates the open-set probability. To achieve holistic detection of open-set samples, our model leverages both class-wise and pixel-wise features to learn a glocal energy-based score, in which a global energy score is learned using the class-wise features, while a local energy score is learned using the pixel-wise features. The model is enforced to assign large energy scores to samples that are deviated from the few-shot examples in either the class-wise features or the pixel-wise features, and to assign small energy scores otherwise. Experiments on three standard FSOR datasets show the superior performance of our model.

研究の動機と目的

• 少ない例でのレアクラスの分類と未知クラスの検出を同時に実行する、少サンプルオープンセット認識（FSOR）の課題に対処すること。
• 既存のFSOR手法がクラス別特徴に依存しているため、同じグローバルな意味的特徴を持つがローカルな詳細が異なるオープンセットサンプルを検出できないという限界を克服すること。
• 二重ブランチのエネルギーに基づくモデルを用いて、閉じたセット分類とオープンセット検出を同時に最適化する統合フレームワークの構築。
• glocalエネルギー点数評価機構を通じて、高レベルの意味的特徴と詳細な空間的特徴を併用することで、オープンセットサンプルの包括的検出を可能にすること。

提案手法

• 二重ブランチアーキテクチャを提案：一方のブランチはクラス別特徴を用いた閉じたセット分類を、もう一方はクラス別およびピクセル別特徴を用いたオープンセット認識を実行。
• クラス別特徴に基づくグローバルエネルギー点数とピクセル別特徴に基づくローカルエネルギー点数の組み合わせで構成されるglocalエネルギー点数を導入し、既知のクラスからの逸脱を検出。
• グローバルな意味的特徴やローカルな外観に逸脱するサンプルに対しては高いエネルギー点数を、それ以外の場合は低い点数を割り当てるように、共同最適化目的関数を用いてモデルを強制的に学習。
• 学習可能で固定、またはタスクに適応する係数を用いてクラス別およびピクセル別エネルギー点数を結合し、アブレーション実験で固定係数が最も優れたオープンセット性能を示した。
• クエリとサポートセットの埋め込み間の特徴距離を計算するために、コサイン類似度に基づくメトリックベースのプロトタイプ学習戦略を採用。
• 既知と未知のサンプルが特徴空間で分離するように促進するマージンベースの損失関数を適用し、オープンセット検出のロバスト性を向上。

実験結果

リサーチクエスチョン

• RQ1 限られた監視情報のもとで、統合モデルが少サンプル分類とオープンセット検出を効果的にバランスできるか？
• RQ2 グローバル（クラス別）およびローカル（ピクセル別）特徴を併用することで、既知のクラスと視覚的に類似しているが詳細に差異を示す未知のサンプルの検出が向上するか？
• RQ3 グローバルまたはローカル特徴のみを用いる場合と比較して、glocalエネルギー点数の組み合わせがオープンセット認識性能に与える影響は何か？
• RQ4 クラス別およびピクセル別エネルギー点数を結合する最適な戦略は何か？固定、学習可能、またはタスクに適応する係数のうちどれが最良か？
• RQ5 k-NN選択におけるk値や損失関数におけるマージン距離といったハイパーパrameterの選択に対して、提案手法はどれほどロバストか？

主な発見

• GELは、miniImageNet、tieredImageNet、CUBという3つの標準的FSORベンチマークで最先端の性能を達成し、5-way 5-shot設定下でminiImageNetで83.05%の正確性と82.29%のAUROCを記録した。
• miniImageNet 5-way 1-shot設定では、83.00%の正確性と80.67%のAUROCを達成し、オープンセット検出能力において既存手法を上回った。
• アブレーションスタディの結果、glocalエネルギー点数の固定係数結合戦略が最高のAUROC（82.29%）を記録し、学習可能およびタスクに適応するバージョンを上回った。
• 本手法はハイパーパrameterの選択に対してロバストである：k-NN選択における異なるk値でもAUROCの変動はわずか0.08にとどまり、より小さいマージン距離が性能向上に寄与した。
• ピクセル別特徴の導入により、グローバルな意味的特徴は類似しているがローカルなテクスチャや外観に差異を示すオープンセットサンプルの検出が可能になった。これは、従来手法が失敗するケースである。
• 分類とエネルギー推定のブランチを別々に設計した二重ブランチ構造により、汎化性能が向上し、すべての設定で正確性とAUROCの両方で一貫した向上が確認された。