[論文レビュー] Sketching Curvature for Efficient Out-of-Distribution Detection for Deep Neural Networks

Apoorva Sharma, Navid Azizan+1 more|arXiv (Cornell University)|Feb 24, 2021

Adversarial Robustness in Machine Learning参考文献 23被引用数 10

ひとこと要約

SCOD はスケーラブルでアーキテクチャに依存しないフレームワークであり、行列スケッチを用いてフィッシャー情報行列の上位固有空間を効率的に近似することで、トレーニングカーブチャの方向に対する勾配の直交性を測ることで、入力の特異性を測定し、後処理的に分布外（OoD）検出を高速化する。Deep Ensembles や KFAC Laplace のようなサンプリングベースのベースラインと比較して、はるかに低い計算コストで SOTA または同等の OoD 検出性能を達成する。

ABSTRACT

In order to safely deploy Deep Neural Networks (DNNs) within the perception pipelines of real-time decision making systems, there is a need for safeguards that can detect out-of-training-distribution (OoD) inputs both efficiently and accurately. Building on recent work leveraging the local curvature of DNNs to reason about epistemic uncertainty, we propose Sketching Curvature of OoD Detection (SCOD), an architecture-agnostic framework for equipping any trained DNN with a task-relevant epistemic uncertainty estimate. Offline, given a trained model and its training data, SCOD employs tools from matrix sketching to tractably compute a low-rank approximation of the Fisher information matrix, which characterizes which directions in the weight space are most influential on the predictions over the training data. Online, we estimate uncertainty by measuring how much perturbations orthogonal to these directions can alter predictions at a new test input. We apply SCOD to pre-trained networks of varying architectures on several tasks, ranging from regression to classification. We demonstrate that SCOD achieves comparable or better OoD detection performance with lower computational burden relative to existing baselines.

研究の動機と目的

• リアルタイムのディープラーニングシステムにおける分布外（OoD）入力を効率的に検出する課題に対処すること。
• 大規模 DNN にスケーラブルな、タスクに関連する後処理的なエピステミック不確実性の測定を提供すること。
• 不確実性推定におけるモンテカルロサンプリングやフル・ヘッシアン計算の高い計算コストを回避すること。
• アーキテクチャやトレーニングプロセスに関係なく、あらかじめ訓練されたすべての DNN に不確実性推定を適用可能にすること。
• タスクに関連する重み空間のカーブチャに焦点を当てることで、OoD 検出性能を向上させること。

提案手法

• オフラインで、SCOD はトレーニングデータ上の勾配に行列スケッチ技術を適用して、フィッシャー情報行列の低ランク近似を計算する。
• この手法は、モデルの予測に最も影響を与える重み方向を表す、フィッシャー行列の上位固有空間を同定する。
• オンラインでは、テスト入力の勾配がトレーニングカーブチャ部分空間に対して直交する度合いを測ることで、入力の特異性を推定する。
• この直交性スコアは、テスト入力がトレーニング分布からどれほど離れているかを示すスカラー不確実性指標として機能する。
• このアプローチは事後分布からのサンプリングを避けており、代わりにバックプロパゲーションと効率的な行列演算を用いてリアルタイム推論を実現する。
• 特に大規模モデルにおいては、計算負荷を軽減するため、カーブチャ解析を最後の数層に制限する。

実験結果

リサーチクエスチョン

• RQ1 フィッシャー情報行列の低ランク近似を用いて、OoD 検出のためのエピステミック不確実性を効率的に推定できるか？
• RQ2 SCOD の性能は、Deep Ensembles や KFAC Laplace のようなサンプリングベースの手法と比較して、AUROC と推論コストの観点でどうなるか？
• RQ3 DNN の最終層にカーブチャ解析を集中させることで、OoD 検出性能と効率性が向上するか？
• RQ4 SCOD は、再トレーニングを必要とせず、アーキテクチャやトレーニングデータの分布に関係なく、あらかじめ訓練された DNN に適用可能か？
• RQ5 SCOD の不確実性指標は、出力の信頼度を不確実性の代理として使用する単純なアプローチと比較してどうなるか？

主な発見

• SCOD は、CIFAR10 や TaxiNet を含むすべての評価済み回帰および分類タスクで、Deep Ensembles と同等またはそれ以上の AUROC スコアを達成した。
• 50,000 個のトレーニングポイントを有する TaxiNet 回帰タスクでは、ミニバッチによるヘッシアン推定が不適切なため、大規模データセットで性能が劣る Local Ensembles よりも SCOD が優れた性能を示した。
• SCOD の不確実性指標は、重みのサンプリングを一切行わないため、KFAC Laplace や Deep Ensembles と比較してはるかに低い推論オーバーヘッドとなった。
• カーブチャ解析を最後の層に制限した場合、特に CIFAR10 において、全重み空間解析が単純なベースラインを下回る中で、SCOD はより高い AUROC と高速な実行時間を達成した。
• 分類タスクにおいても、SCOD は、出力のソフトマックス信頼度を不確実性の代理として使用する単純なベースラインを上回ったが、後者ですら良好な性能を示していた。
• この手法はモデルアーキテクチャに強く依存せず、再トレーニングを必要とせず、CIFAR10 に事前学習済みの DenseNet121 など、あらゆる前処理済みモデルに後処理的に適用可能である。