[論文レビュー] Hyperparameter-Free Out-of-Distribution Detection Using Softmax of Scaled Cosine Similarity

Engkarat Techapanurak, Suganuma, Masanori+1 more|arXiv (Cornell University)|May 25, 2019

Anomaly Detection Techniques and Applications参考文献 48被引用数 13

ひとこと要約

本論文は、特徴埋め込みとクラスプロトタイプ間のスケーリングされたコサイン類似度のソフトマックスに基づく、ハイパーパrameterフリーの分布外（OOD）検出手法を提案する。ニューラルネットワークの最終層をコサイン類似度ベースの分類器に置き換えることで、OOD検証データが不要であるにもかかわらず、ハイパーパrameterのロバスト性を評価する困難なベンチマークで最先端のOOD検出性能を達成し、単一のフォワードパスで計算効率を維持する。

ABSTRACT

The ability to detect out-of-distribution (OOD) samples is vital to secure the reliability of deep neural networks in real-world applications. Considering the nature of OOD samples, detection methods should not have hyperparameters that need to be tuned depending on incoming OOD samples. However, most of the recently proposed methods do not meet this requirement, leading to compromised performance in real-world applications. In this paper, we propose a simple, hyperparameter-free method based on softmax of scaled cosine similarity. It resembles the approach employed by modern metric learning methods, but it differs in details; the differences are essential to achieve high detection performance. We show through experiments that our method outperforms the existing methods on the evaluation test recently proposed by Shafaei et al., which takes the above issue of hyperparameter dependency into account. We also show that it achieves at least comparable performance to other methods on the conventional test, where their hyperparameters are chosen using explicit OOD samples. Furthermore, it is computationally more efficient than most of the previous methods, since it needs only a single forward pass.

研究の動機と目的

• OOD検出手法における根本的な制限、すなわちOOD検証データ上でチューニングされたハイパーパrameterを必要とする点を解決すること。
• キャリブレーション段階でOODサンプルへのアクセスに依存しない高精度なOOD検出性能を維持する手法を開発すること。
• 入力の摂動などの反復的またはバックプロパゲーションに依存する計算を排除することで、計算効率を向上させること。
• コサイン類似度のスケーリングおよび正規化における技術的差異が、高精度なOOD検出に不可欠であることを示し、標準的なメトリクス学習手法とは明確に区別すること。

提案手法

• 深層ニューラルネットワークの最終全結合層を、最終特徴表現と学習可能なクラスプロトタイプ間の類似度を計算するコサイン類似度ベースの分類器に置き換える。
• 可学習な温度パラメータを用いてコサイン類似度スコアにスケーリングを施し、その後ソフトマックス処理を実行してクラス確率を出力する。
• OOD固有の損失やデータを一切使用せず、インダストリーデータでの標準的な交差エントロピー損失のみを用いてネットワークを訓練する。
• スケーリングされたコサイン類似度出力からの最大ソフトマックス確率を、OOD検出の信頼度スコアとして使用する。
• 推論段階で単一のフォワードパスを実行するため、入力摂動を伴う複数回のフォワードパスや勾配計算を要する手法と比較して計算効率が優れている。
• 標準的なメトリクス学習とは異なる、特定のスケーリング機構（温度スケーリング）と正規化戦略を導入し、OODの識別性能を向上させている。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのOOD検出手法は、OODデータ上でチューニングされたハイパーパrameterを必要としないで、高い性能を達成できるか？
• RQ2 スケーリングされたコサイン類似度に基づく本手法は、ハイパーパramータ選択に対するロバストネスという観点で、既存のOOD検出手法と比較してどのように異なるか？
• RQ3 スケーリングされたコサイン類似度のソフトマックス処理は、標準的なログティスや非正規化コサイン類似度と比較して、OOD検出性能を向上させるか？
• RQ4 現実的な仮定のもとで、インダストリーデータの精度を高い水準で維持しつつ、OOD検出性能を著しく向上させられるか？
• RQ5 Shafaeiらが提案したように、ハイパーパラメータ感受性を明示的に評価するベンチマーク上での本手法の性能はいかがなものか？

主な発見

• 本手法は、ハイパーパラメータのロバストネスを評価するShafaeiらのベンチマークにおいて、すべての既存手法を上回り、AUCスコアで顕著な優位性を示した。
• 従来のOOD検出ベンチマークでも、最先端の手法と同等以上の性能を達成しており、CIFAR-10およびCIFAR-100において、さまざまなOODデータセットでAUCスコアが常に97％以上であった。
• Wide ResNet-28-10を用いて、CIFAR-10とTinyImageNet（クロップド）のOODデータに対して99.77％のAUCを達成し、ODINおよびマハラノビス検出器を上回った。
• LSUNやTinyImageNetなどのOODデータセットに黒枠が存在する場合でも、本手法はその影響に敏感ではなく、他の手法は顕著な性能低下を示すなど、データアーチファクトに対して高いロバストネスを示した。
• 本手法は高い効率性を維持しており、ODINやLeave-out Ensembleのように摂動付きの複数回のフォワードパスを必要としない。
• アブレーションスタディにより、本手法で用いられる特定のスケーリングおよび正規化戦略が極めて重要であることが確認された。ナーブなコサイン類似度や非正規化バージョンでは、顕著に性能が劣った。