[論文レビュー] Feature Space Singularity for Out-of-Distribution Detection

Haiwen Huang, Zhihan Li+4 more|arXiv (Cornell University)|Nov 30, 2020

Anomaly Detection Techniques and Applications参考文献 42被引用数 27

ひとこと要約

本論文は、ニューラルネットワークの特徴空間内における中心的ポイント「特徴空間特異点（FSS）」からの距離を測定することで、分布外（OoD）のサンプルを特定する、シンプルでありながら最先端のOoD検出手法である特徴空間特異点距離（FSSD）を提案する。この手法は、多様なベンチマークで最先端の性能を達成しており、CelebA や MS-1M といった大規模データセットではAUROCで5%の向上を示し、データの破損に対しても頑健性を示し、アンサンブルによる性能向上も可能である。

ABSTRACT

Out-of-Distribution (OoD) detection is important for building safe artificial intelligence systems. However, current OoD detection methods still cannot meet the performance requirements for practical deployment. In this paper, we propose a simple yet effective algorithm based on a novel observation: in a trained neural network, OoD samples with bounded norms well concentrate in the feature space. We call the center of OoD features the Feature Space Singularity (FSS), and denote the distance of a sample feature to FSS as FSSD. Then, OoD samples can be identified by taking a threshold on the FSSD. Our analysis of the phenomenon reveals why our algorithm works. We demonstrate that our algorithm achieves state-of-the-art performance on various OoD detection benchmarks. Besides, FSSD also enjoys robustness to slight corruption in test data and can be further enhanced by ensembling. These make FSSD a promising algorithm to be employed in real world. We release our code at \url{https://github.com/megvii-research/FSSD_OoD_Detection}.

研究の動機と目的

• 実世界のAIシステムにおいて、未知または破損した入力を処理する必要がある状況で、信頼性の高いOoD検出のニーズに対応すること。
• 訓練済みニューラルネットワーク内に存在する普遍的な構造的性質を同定すること。この性質は、有界なノルムを持つOoDサンプルが特徴空間に集中する点に現れる。
• 追加のトレーニングや訓練データ全体への距離計算が不要な、軽量で推論時のみに利用可能なOoD検出手法を開発すること。
• データの破損下でも頑健であり、アンサンブルによるスケーラビリティを示す手法の有効性を実証すること。

提案手法

• 本手法は、ネットワークの訓練後、有界なノルムを持つOoDサンプルが特徴空間に集中する中心的ポイント「特徴空間特異点（FSS）」を特定する。
• FSSD(x) = ||Fθ(x) − F*|| として、サンプルの特徴表現からFSSまでのL2距離を定義し、OoD検出のスコアとして用いる。
• FSSは、既知のOoDデータの検証セットからのOoD特徴の重心として計算され、追加のトレーニングを必要としない。
• 本手法は、インディストリビューションとOoDの特徴のトレーニングダイナミクスに着目し、FSSDがトレーニング中の特徴の移動を近似することを示している。
• 任意の事前学習済み分類器と互換性があり、最小限の計算オーバーヘッドで推論時に適用可能である。
• 複数の層や複数のネットワークからのFSSDスコアをアンサンブルすることで、特徴表現の多様性を活用し、性能がさらに向上する。

実験結果

リサーチクエスチョン

• RQ1 多様な分布に由来するOoDデータは、訓練済みニューラルネットワークの特徴空間内で一貫して同一の点に集中するか？
• RQ2 サンプルの特徴からこの中心点（FSSD）までの距離は、信頼性があり汎用的なOoD検出スコアとして機能するか？
• RQ3 FSSDは、既存の最先端手法と比較してAUROCとデータ破損下での頑健性において優れているか？
• RQ4 異なる層やネットワークからのFSSDスコアをアンサンブルすることで、さらなる性能向上が達成できるか？
• RQ5 FSS現象の背後にあるトレーニングダイナミクスは何か？

主な発見

• FSSDは、評価されたすべてのOoD検出ベンチマークで最先端の性能を達成しており、CelebA や MS-1M といった大規模データセットではAUROCで5%の向上を示した。
• ImageNet-C などのテストデータの破損に対しても高い頑健性を示し、不確実性ベースや密度ベースのベースラインを上回った。
• FSSDと他の手法との性能差は、訓練データセットのサイズが大きくなるに従い拡大する傾向にあり、スケーラビリティと強い汎化性能を示している。
• 複数の層やネットワークからのFSSDスコアをアンサンブルすることで、さらなる性能向上が得られ、本手法がアンサンブル技術と相性が良いことを示した。
• FSS現象は、ResNet や ResNeXt、LSTM、LeNet といったさまざまなアーキテクチャおよび CIFAR10、ImageNet、FashionMNIST、ゲノムデータなど多様なデータセットにわたり普遍的であることが確認され、広範な適用可能性を裏付けた。
• 理論的および実験的分析により、FSS現象はトレーニングダイナミクスと関連しており、特に勾配内積の類似性がトレーニングデータに類似する非リプシッツ性に起因することが明らかになった。