[論文レビュー] Igeood: An Information Geometry Approach to Out-of-Distribution Detection

Eduardo Dadalto Camara Gomes, Florence Alberge+2 more|arXiv (Cornell University)|Mar 15, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

Igeoodは、事前学習された深層ニューラルネットワークの特徴空間において、分布外（OOD）サンプルと分布内サンプルの類似度を測るための、情報幾何に基づく新規な手法を提案する。Fisher-Rao距離を用いて類似度を測定し、ネットワークの各層におけるログティットと学習された特徴を統合することで、トレーニング時にOODデータを必要とせず、ブラックボックス、グレイボックス、ホワイトボックスのあらゆる設定で最先端の性能を達成する。

ABSTRACT

Reliable out-of-distribution (OOD) detection is fundamental to implementing safer modern machine learning (ML) systems. In this paper, we introduce Igeood, an effective method for detecting OOD samples. Igeood applies to any pre-trained neural network, works under various degrees of access to the ML model, does not require OOD samples or assumptions on the OOD data but can also benefit (if available) from OOD samples. By building on the geodesic (Fisher-Rao) distance between the underlying data distributions, our discriminator can combine confidence scores from the logits outputs and the learned features of a deep neural network. Empirically, we show that Igeood outperforms competing state-of-the-art methods on a variety of network architectures and datasets.

研究の動機と目的

• データ分布が予測不能に変化する現実世界の機械学習システムにおいて、信頼性の高い分布外（OOD）検出が不可欠であるという課題に対処する。
• 従来の手法が単に信頼度スコアや潜在表現に依存するため、分布シフトやモデルの摂動に対して失敗するという限界を克服する。
• ブラックボックス、グレイボックス、ホワイトボックスのあらゆるモデルアクセスレベルに適応可能な統一的かつモデルに依存しないOOD検出フレームワークを構築する。
• 特に、確率分布間のFisher-Rao距離を用いて、情報幾何的根拠に基づいた堅牢なOODメトリクスを構築する。
• トレーニング時に分布内データのみを用いても効果的なOOD検出を可能にするとともに、OODデータが利用可能であればその恩恵を受ける仕組みを提供する。

提案手法

• 深層ニューラルネットワーク（DNN）のソフトマックス出力と特徴表現を多変量正規分布としてモデル化する多様体上に、Fisher-Rao距離をリーマン計量として定義する。
• 特徴空間における分布内サンプルとテストサンプルの確率密度関数間の測地線距離を計算し、内在的な幾何的不一致を捉える。
• ログティットと中間層特徴を統一的なFisher-Rao距離メトリクスで統合することで、分布内と分布外のサンプルをより明確に識別する。
• 複数のアクセスレベルをサポートする：ブラックボックスモードではログティットのみを用い、グレイボックスモードでは入力の勾配を用いて入力を摂動させ、特徴の識別能を向上させる。ホワイトボックスモードでは、ログティットと低レベル特徴を統合する。
• グレイボックスおよびホワイトボックス設定では、入力勾配の方向に微小なノイズを加える前処理ステップを導入し、OODサンプルへの感受性を強化する。
• トレーニング時に分布内データのみを用いてOOD検出器を学習し、OODサンプルが利用可能であれば、バリデーションやファインチューニングによるオプションの最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 情報幾何、特にFisher-Rao距離は、従来の不確実性ベースの手法に比べ、より堅牢で一般化性の高いOOD検出メトリクスを提供できるか？
• RQ2 トレーニング時にOODデータを必要としない状況でも、ブラックボックス、グレイボックス、ホワイトボックスのあらゆるアクセスレベルで、提案されたIgeoodフレームワークはどの程度有効か？
• RQ3 幾何的距離を用いてログティットと学習済み特徴を統合することで、多様なアーキテクチャとデータセットにおいて、OOD検出性能がどの程度向上するか？
• RQ4 Fisher-Rao距離の使用により、従来の手法と比較して、小さなモデルパラメータの変更に対してもより優れた一般化性と耐性が得られるか？
• RQ5 トレーニング時にOODデータが利用不可であっても、そのデータが提供された場合にはその恩恵を受けることができるか、性能が維持されるか？

主な発見

• Igeoodは、CIFAR-10、CIFAR-100、SVHN、TinyImageNetといった複数のベンチマークデータセットで、さまざまなネットワークアーキテクチャ（DenseNet、ResNet）においてSOTAの性能を達成した。
• ブラックボックス設定では、ベンチマークで平均AUC 77.0 ± 15を達成し、先行手法を上回った。ホワイトボックス設定ではログティットと特徴を併用し、92.3 ± 5.9のAUCを達成した。
• ResNetを用いたSVHNデータセットでは、ホワイトボックス設定で99.6 ± 0.5のAUCを達成し、ほぼ完璧なOOD検出能力を示した。
• 本手法は高い耐性を示した：勾配ベースの前処理を施したグレイボックス設定では、AUCが顕著に向上した（例：DenseNetを用いたCIFAR-10では、91.7 ± 12から94.0 ± 9.0に上昇）。
• 図7～10のヒストグラムは、あらゆる設定で分布内とOODスコアの明確な分離を示しており、本手法の識別力の高さを裏付けた。
• OODデータがトレーニング時に利用不可であっても、Igeoodは競争力のある結果（例：DenseNetを用いたCIFAR-10では77.0 ± 15のAUC）を達成し、OODデータが利用可能であればバリデーションやファインチューニングにより性能が向上した。