[論文レビュー] OpenAUC: Towards AUC-Oriented Open-Set Recognition

Zitai Wang, Qianqian Xu+4 more|arXiv (Cornell University)|Oct 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、一貫性があり閾値に依存しない方法でクローズドセットとオープンセットの両方のパフォーマンスを統合的に評価する、新しいオープンセット認識（OSR）用指標であるOpenAUCを提案する。knownとunknownのサンプル同士のペアワイズランク付けとして性能を定式化することで、従来の指標の不整合を回避し、エンドツーエンド最適化を可能にし、ベンチマークデータセットで最先端の結果を達成した。

ABSTRACT

Traditional machine learning follows a close-set assumption that the training and test set share the same label space. While in many practical scenarios, it is inevitable that some test samples belong to unknown classes (open-set). To fix this issue, Open-Set Recognition (OSR), whose goal is to make correct predictions on both close-set samples and open-set samples, has attracted rising attention. In this direction, the vast majority of literature focuses on the pattern of open-set samples. However, how to evaluate model performance in this challenging task is still unsolved. In this paper, a systematic analysis reveals that most existing metrics are essentially inconsistent with the aforementioned goal of OSR: (1) For metrics extended from close-set classification, such as Open-set F-score, Youden's index, and Normalized Accuracy, a poor open-set prediction can escape from a low performance score with a superior close-set prediction. (2) Novelty detection AUC, which measures the ranking performance between close-set and open-set samples, ignores the close-set performance. To fix these issues, we propose a novel metric named OpenAUC. Compared with existing metrics, OpenAUC enjoys a concise pairwise formulation that evaluates open-set performance and close-set performance in a coupling manner. Further analysis shows that OpenAUC is free from the aforementioned inconsistency properties. Finally, an end-to-end learning method is proposed to minimize the OpenAUC risk, and the experimental results on popular benchmark datasets speak to its effectiveness. Project Page: https://github.com/wang22ti/OpenAUC.

研究の動機と目的

• 既存のオープンセット認識（OSR）指標に内在する根本的な不整合、特にクローズドセットとオープンセットの両方のパフォーマンスをバランスよく評価できない点を特定すること。
• クローズドセットとオープンセットの両方のパフォーマンスを連携され、閾値に依存しない方法で評価する新しい指標OpenAUCを提案すること。
• OpenAUCリスクを直接最小化するエンドツーエンド微分可能な最適化手法を確立し、両方のパフォーマンス要因を統合的に最適化可能にする。
• 標準ベンチマークデータセットを用いた広範な実験を通じて、OpenAUCの理論的利点を検証すること。

提案手法

• OpenAUCはペアワイズランク付け指標として定義される：各knownサンプルとunknownサンプルのペアに対して、knownサンプルが正しく分類され、かつunknownサンプルより低いスコアを持つことを確認する。
• 特定の決定閾値に依存しないランク付け演算子を用いることで、閾値選択に対するロバスト性を確保する。
• OpenAUCを直接最適化できるエンドツーエンド微分可能なリスク最小化の学習目的関数を提案する。
• 損失関数におけるクローズドセットとオープンセットパフォーマンスの寄与度を調整するためのハイパーパrameter λ を導入する。
• 最適化フレームワークは標準的なディープラーニングのバックプロパゲーションを用い、OpenAUC目的関数はサロゲート損失関数から導出される。
• SVHN、CIFAR-10、CIFAR-100、TinyImageNetで、さまざまなオープンセット定義を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 open-set FスコアやYoudenの指数といった既存のOSR指標は、クローズドセットとオープンセットの両方のパフォーマンスを評価する際に不整合を示すのか？
• RQ2 閾値依存の意思決定に依存せずに、同時にクローズドセットの正確性とオープンセットの識別性能を評価できる統一された指標を設計できるか？
• RQ3 OpenAUCを最適化することで、多様なベンチマークデータセットにおいて一般化性能とパフォーマンスが向上するのか？
• RQ4 提案されたエンドツーエンド学習法は、最先端のOSR手法と比較して、ロバスト性と有効性において優れているか？

主な発見

• open-set FスコアやYoudenの指数といった分類ベースの指標は、不整合を示す。なぜなら、オープンセットのサンプルをknownと誤分類することで最適化可能であり、誤ったパフォーマンススコアを生じさせるからである。
• ノベルティ検出用AUCはクローズドセットパフォーマンスを無視しており、これをクローズドセット正確性と組み合わせると、両方のパフォーマンスを最適に統合できない多目的最適化問題となる。
• 提案されたOpenAUC指標は、OSRの目的と理論的に整合しており、クローズドセットとオープンセットの両方のパフォーマンスを連携され、閾値に依存しない方法で評価する。
• OpenAUCリスク最小化に基づくエンドツーエンド学習法は、SVHN、CIFAR-10、CIFAR-100、TinyImageNetを含むすべての評価済みデータセットで最先端のパフォーマンスを達成した。
• 感度分析の結果、OpenAUCの最適なハイパーパrameter λ は0.1または0.2であり、それ以上の値では性能が低下する傾向があり、生成されたサンプルのノイズが原因である可能性がある。
• アブレーションスタディにより、クローズドセット正確性項（Acc+AUC）を削除すると性能が劣化することが確認され、OpenAUCにおける連携目的関数の必要性が裏付けられた。