[論文レビュー] PMAL: Open Set Recognition via Robust Prototype Mining

Jing Lü, Yunxu Xu+3 more|arXiv (Cornell University)|Mar 16, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本論文は、埋め込み空間の最適化の前に、高品質で多様なプロトタイプを明示的にマイニングする新しいオープンセット認識フレームワークPMALを提案する。データの不確実性と多様性に配慮したフィルタリングを活用することで、複数のベンチマークで最先端の性能を達成し、強力なプロトタイプ選択と安定した埋め込み学習により、既知のクラスと未知のクラスの識別を顕著に向上させる。

ABSTRACT

Open Set Recognition (OSR) has been an emerging topic. Besides recognizing predefined classes, the system needs to reject the unknowns. Prototype learning is a potential manner to handle the problem, as its ability to improve intra-class compactness of representations is much needed in discrimination between the known and the unknowns. In this work, we propose a novel Prototype Mining And Learning (PMAL) framework. It has a prototype mining mechanism before the phase of optimizing embedding space, explicitly considering two crucial properties, namely high-quality and diversity of the prototype set. Concretely, a set of high-quality candidates are firstly extracted from training samples based on data uncertainty learning, avoiding the interference from unexpected noise. Considering the multifarious appearance of objects even in a single category, a diversity-based strategy for prototype set filtering is proposed. Accordingly, the embedding space can be better optimized to discriminate therein the predefined classes and between known and unknowns. Extensive experiments verify the two good characteristics (i.e., high-quality and diversity) embraced in prototype mining, and show the remarkable performance of the proposed framework compared to state-of-the-arts.

研究の動機と目的

• プロトタイプがノイズや重複に左右されやすい、オープンセット認識における暗黙的プロトタイプ学習の限界を是正する。
• 高品質で多様なプロトタイプを明示的に選択することで、既知クラスと未知クラスの識別を向上させる。
• プロトタイプマイニングと埋め込み学習の2段階フレームワークを構築し、モデルのロバスト性と一般化性能を向上させる。
• 異なる事前学習モデル間でプロトタイプ選択を安定化させ、信頼性の高い一貫性のあるマイニングを保証する。
• 明示的プロトタイプマイニングが、埋め込み空間におけるクラス内compactnessの向上とクラス間分離の強化に寄与することを示す。

提案手法

• 低品質要因（隠蔽やぼやけ）に起因するデータの不確実性を測定することで、高品質なトレーニングサンプルを特定するための新規指標「埋め込みトポロジーのロバスト性」を導入する。
• 各クラスごとに多様性に基づくフィルタリング戦略を適用し、冗長性を低減するとともに、各カテゴリ内での多様な外観を保持する。
• 選択された高品質で多様なプロトタイプを、埋め込み最適化中にポイント・ツー・セット距離メトリックにおける固定アンカーとして使用する。
• 分類損失とプロトタイプに依存するマージン損失を組み合わせたジョイント損失を最適化することで、既知クラスと未知クラスの分離を強制する。
• 複数の事前学習モデル（U=2）を用いてプロトタイプ品質スコアを計算し、安定性を確保するとともに、単一モデルへの依存性を低減する。
• 推論時に特徴抽出に1つのモデルのみを用いることで、追加パラメータを避け、推論効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 品質および多様性制約を伴う明示的プロトタイプマイニングは、暗黙的プロトタイプ学習に比べ、オープンセット認識性能を向上させるか？
• RQ2 異なる事前学習モデル間でプロトタイプ選択のロバスト性はどのように変動し、安定したマイニング結果を保証するか？
• RQ3 プロトタイプ選択における多様性は、埋め込み空間におけるクラス内compactnessとクラス間分離をどの程度向上させるか？
• RQ4 ε（品質閾値）、δ（マージン）、λp（損失重み）といったハイパーパrameterが、モデルのAUROCと収束に与える影響はいかほどか？
• RQ5 本フレームワークは、TinyImageNetのような複雑なデータセットを含む多様なベンチマークで、最先端手法を上回る性能を示すか？

主な発見

• PMALは、MNISTおよびTinyImageNetベンチマークで最先端のAUROC性能を達成し、TinyImageNetでは前回SOTA比で10.2%の向上を達成した。
• 表5に示すように、多様性に基づくプロトタイプ選択法は、ランダム選択やK-Meansクラスタリングを上回り、複数のデータセットで一貫した向上を示した。
• 異なる事前学習モデル間でプロトタイプマイニングが安定しており、3回の繰り返し実験においてプロトタイプ位置の変動が最小限に抑えられており、ロバスト性を示している。
• 1クラスあたりT=10のプロトタイプを用いることで、T=1の場合に比べてクラス内埋め込みがよりcompactになり、未知サンプルとの重複が低減され、一般化性能が向上した。
• ハイパーパrameter λp に対しては相対的に感度が低く、λp の値が0.5から1.0に変化してもAUROCはたった0.3ポイントしか変動しなかったため、良好な安定性を示した。
• PMALが学習する埋め込み空間は、CPN や RPL と比較して、特にTinyImageNetのような複雑なデータセットにおいて、既知クラスと未知クラスの間で顕著に分離されている。