[論文レビュー] One-Class Meta-Learning: Towards Generalizable Few-Shot Open-Set Classification

Jedrzej Kozerawski, Matthew Turk|arXiv (Cornell University)|Sep 14, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、少数ショット1クラスおよび多クラスオープンセット分類のための2つの新規メタラーニング手法—Meta-BCEおよびOCML—を提案する。これにより、再訓練を伴わず、性能の低下なしに、既存の少数ショット学習モデルが未知のクラスを検出可能となる。これらの手法は、miniImageNet、tieredImageNet、CUB-200-2011で最先端の結果を達成し、オープンセットおよびクローズドセット設定の両方で、特に低ショット状況下で優れた性能を示す。

ABSTRACT

Real-world classification tasks are frequently required to work in an open-set setting. This is especially challenging for few-shot learning problems due to the small sample size for each known category, which prevents existing open-set methods from working effectively; however, most multiclass few-shot methods are limited to closed-set scenarios. In this work, we address the problem of few-shot open-set classification by first proposing methods for few-shot one-class classification and then extending them to few-shot multiclass open-set classification. We introduce two independent few-shot one-class classification methods: Meta Binary Cross-Entropy (Meta-BCE), which learns a separate feature representation for one-class classification, and One-Class Meta-Learning (OCML), which learns to generate one-class classifiers given standard multiclass feature representation. Both methods can augment any existing few-shot learning method without requiring retraining to work in a few-shot multiclass open-set setting without degrading its closed-set performance. We demonstrate the benefits and drawbacks of both methods in different problem settings and evaluate them on three standard benchmark datasets, miniImageNet, tieredImageNet, and Caltech-UCSD-Birds-200-2011, where they surpass the state-of-the-art methods in the few-shot multiclass open-set and few-shot one-class tasks.

研究の動機と目的

• 標準的手法が限られたクラス内サンプルとクローズドセットの仮定により失敗する、少数ショットオープンセット分類の課題に対処すること。
• 訓練時に別個のバックグラウンドカテゴリを必要とせず、少数ショットモデルが未知クラスを検出できるメタラーニング手法を開発すること。
• 既存の少数ショット学習フレームワークに高いクローズドセット精度を維持したまま、堅牢なオープンセット検出機能を追加すること。
• 既存のソフトマックスベースの手法が失敗する、1クラス分類（n=1）を効果的に実現すること。
• 再訓練を伴わず、既存の少数ショット学習モデルと互換性を持つように、これらの手法をプラグインモジュールとして追加できること。

提案手法

• Meta-BCEは、バイナリクロスエントロピー損失を用いて、1クラス分類のための別個の特徴表現をメタラーニングで最適化し、未学習の1クラス例に一般化できるようにする。
• OCMLは、標準的な多クラス特徴表現から、メタラーニングで最適化された分類器ヘッドを用いて1クラス分類器を生成し、少数ショット設定下でのオープンセット検出を可能にする。
• 両手法は、既存の少数ショット学習モデル（例：FEAT）の上にプラグインモジュールとして訓練され、ベースモデルの学習プロセスを変更しない。
• 先行のオープンセット手法とは異なり、訓練時にバックグラウンドまたは未知カテゴリのデータを必要としない。
• Meta-BCEはより高ショット設定（k ≥ 5）を想定して最適化されているが、OCMLは低ショット（k=1）状況に特化しており、実証的性能のトレードオフに基づく。
• アプローチは、メタラーニングを活用して、さまざまなnウェイおよびkショット設定に一般化可能な、少数ショット1クラスおよび多クラスオープンセットタスクに適応する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、サポートセットに1つのみのクラスしか存在しない少数ショット1クラス分類に効果的に適応可能か？
• RQ2 既存の少数ショット学習モデルは、再訓練や性能低下なしに、未知クラスを検出可能に拡張可能か？
• RQ3 訓練時にバックグラウンドカテゴリデータを必要としない手法は、それらを必要とする手法よりも少数ショットオープンセット設定で優れた性能を示すか？
• RQ4 サポート例の数（k）が1クラス検出の性能に与える影響はいかほどか？
• RQ5 提案手法は、さまざまな少数ショットベンチマークおよびネットワークアーキテクチャに一般化可能か？

主な発見

• FEAT + OCMLは、tieredImageNetで1ショット設定下で67.76％の正規化精度を達成し、すべてのベースラインを上回った。
• FEAT + Meta-BCEは、miniImageNetで5ショット設定下で73.32％の正規化精度を達成し、最先端を上回った。
• Meta-BCEは、ResNet-18を用いk=5の条件下でminiImageNetで70.98％の正規化精度を達成した。一方、OCMLはk=1の条件下で57.60％の正規化精度を達成した。
• 提案手法は、クローズドセット精度を低下させない。これに対して、エントロピックオープンセット損失やObjectosphereは性能低下を示した。
• OCMLおよびMeta-BCEは、ソフトマックスの制限により失敗する1クラス設定下で、ソフトマックスベースの手法（例：PEELER、OpenMax）を上回った。
• CUB-200-2011では、FEAT + OCMLが1ショットで60.21％の正規化精度を達成し、FEAT + Meta-BCEが5ショットで72.04％の正規化精度を達成した。両者とも最先端の結果を達成した。