[論文レビュー] Adversarial Motorial Prototype Framework for Open Set Recognition

Ziheng Xia, Penghui Wang+2 more|arXiv (Cornell University)|Jul 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 10

ひとこと要約

本稿では、オープンセット認識のためのモータリアルプロトタイプフレームワーク（MPF）と、その敵対的拡張版AMPF++を提案する。動的マージン制約を用いて特徴の凝縮性を向上させ、実験的リスクとオープンスペースリスクの両方を低減する。この手法は、MNIST、CIFAR、ImageNetベンチマークにおいて、特に大規模かつ複雑な未知クラス設定下で最先端のモデルを上回る性能を示す。

ABSTRACT

Open set recognition is designed to identify known classes and to reject unknown classes simultaneously. Specifically, identifying known classes and rejecting unknown classes correspond to reducing the empirical risk and the open space risk, respectively. First, the motorial prototype framework (MPF) is proposed, which classifies known classes according to the prototype classification idea. Moreover, a motorial margin constraint term is added into the loss function of the MPF, which can further improve the clustering compactness of known classes in the feature space to reduce both risks. Second, this paper proposes the adversarial motorial prototype framework (AMPF) based on the MPF. On the one hand, this model can generate adversarial samples and add these samples into the training phase; on the other hand, it can further improve the differential mapping ability of the model to known and unknown classes with the adversarial motion of the margin constraint radius. Finally, this paper proposes an upgraded version of the AMPF, AMPF++, which adds much more generated unknown samples into the training phase. In this paper, a large number of experiments prove that the performance of the proposed models is superior to that of other current works.

研究の動機と目的

• 既知クラス分類の実験的リスクと、未知クラスの拒否のオープンスペースリスクを同時に最小化することで、オープンセット認識（OSR）の課題に取り組む。
• 埋め込み空間における既知クラスの特徴の凝縮性を向上させ、未知クラスの特徴との重複を低減する。
• 合成された未知サンプルを用いた敵対的訓練により、既知クラスと未知クラスの間の差別的マッピング能力を強化する。
• 大規模な既知クラス設定と多様な未知クラス分布に対して効果的である、スケーラブルで頑健なフレームワークを開発する。

提案手法

• 特徴空間におけるクラスタの凝縮性を高めるために、クラスプロトタイプと損失関数内に新規のモータリアルマージン制約項を導入するモータリアルプロトタイプフレームワーク（MPF）を提案する。
• マージン制約半径Rの敵対的モーションを導入：Rを増加させることで既知クラスのクラスタリングが強化され（実験的リスク低減）、Rを減少させることで未知特徴がオープンスペース境界に押し出される（オープンスペースリスク低減）。
• 敵対的サンプル生成を用いて、合成された未知データで訓練を拡張し、分布外サンプルの検出能力を向上させる。
• AMPF++は、AMPFの拡張版であり、訓練中に生成される未知サンプルの数を増加させることで、さらにオープンスペースリスクを抑制する。
• 特徴空間におけるプロトタイプの対称的分布を採用し、空間の利用効率を最大化し、一般化性能を向上させる。
• バックボーン分類器としてResNet-18とResNet-50を用い、MNIST、KMNIST、SVHN、CIFAR-10、CIFAR-100、およびImageNet（既知／未知の分割あり）で評価を行う。

実験結果

リサーチクエスチョン

• RQ1 動的マージン制約を有するプロトタイプベースのフレームワークは、オープンセット認識において実験的リスクとオープンスペースリスクの両方を効果的に低減できるか？
• RQ2 未知サンプルの敵対的生成は、既知クラスと未知クラスを区別する能力をどのように向上させるか？
• RQ3 マージン半径Rの敵対的モーションは、既知クラスと未知クラスの間の差別的マッピング能力をどの程度向上させるか？
• RQ4 既知クラスの数が増加するに従って、MPFとAMPF++の性能はどのようにスケーリングするか？
• RQ5 特徴空間におけるプロトタイプの対称的分布は、より高い頑健性と低減されたオープンスペースリスクに寄与するか？

主な発見

• AMPF++はImageNet-100およびImageNet-200で優れた性能を示し、AUROCおよびOSCR指標においてARPLおよび他の最先端手法を上回る。
• ImageNet-Oでは、1000個のImageNetクラスをすべて既知として扱う設定下で、AMPF++は最高のOSCRおよびAUROCを達成し、複雑な未知分布への一般化能力を示している。
• MPFは、GCPL、RPL、ARPLよりも実験的リスクとオープンスペースリスクの両方をより効果的に低減しており、特徴空間における可視化で、既知クラスのクラスタがより凝縮され、未知クラスと重複が少ないことが確認されている。
• 既知クラス数（K）が2から10に増加するに従って、MPFは高い性能を維持し、特にKMNISTでは既知クラスと未知クラスの重複が顕著に減少している。
• 動的マージン制約（Rの敵対的モーション）により、両リスクの交互な低減が可能となり、単一モードのリスク最小化戦略よりも効果的であることが実証された。
• 可視化により、プロトタイプ、特徴、および特徴空間の中心がほぼ一直線上に位置していることが確認され、距離制約の幾何的設計の妥当性が裏付けられた。