[論文レビュー] GLOD: Gaussian Likelihood Out of Distribution Detector.

Guy Amit, Moshe Levy+3 more|arXiv (Cornell University)|Aug 16, 2020

Adversarial Robustness in Machine Learning参考文献 14被引用数 2

ひとこと要約

GLODは、事前学習された深層ニューラルネットワークにガウス尤度層を追加することで、分布外（OOD）入力を検出する新規で効率的な手法である。この手法は、実行時オーバーヘッドや補助的なOOD学習データが不要であり、推論時に高い精度でOOD検出を実現し、SVHN、CIFAR-10、CIFAR-100で優れた性能を発揮する。

ABSTRACT

Discriminative deep neural networks (DNNs) do well at classifying input associated with the classes they have been trained on. However, out-of-distribution (OOD) input poses a great challenge to such models and consequently represents a major risk when these models are used in safety-critical systems. In the last two years, extensive research has been performed in the domain of OOD detection. This research has relied mainly on training the model with OOD data or requiring additional computation for OOD detection. Such methods may not be applicable in many real world use cases. In this paper, we propose GLOD -- Gaussian likelihood out of distribution detector -- an extended DNN classifier capable of efficiently detecting OOD samples with no additional runtime overhead and without auxiliary training data. GLOD uses a layer that models the Gaussian density function of the trained classes. The layer outputs are used to estimate a Log-Likelihood Ratio which is employed to detect OOD samples. We evaluate GLOD's detection performance on SVHN, CIFAR-10 and CIFAR-100.

研究の動機と目的

• 安全上の重要な深層学習システムにおける分布外（OOD）入力の検出という重要な課題に対処すること。
• 追加の学習データや実行時の計算コストを必要としないOOD検出手法を開発すること。
• 既存のDNN推論パイプライン内での効率的でリアルタイムのOOD検出を可能にすること。
• 元の分類器アーキテクチャの再訓練や変更なしに高い検出精度を維持すること。

提案手法

• GLODは、学習済みクラスの特徴の密度を多変量ガウス分布でモデル化するガウス尤度層を導入する。
• この層は、学習済みのクラス条件付きガウス分布の下での入力特徴の対数尤度を計算する。
• 最大対数尤度から導かれる対数尤度比が、OODスコアとして機能する。
• この手法は、標準的な順方向伝播を超えて追加の計算コストを伴わず、推論時に動作する。
• ガウス層は推論時におけるDNNアーキテクチャに挿入され、メインネットワークの再訓練が不要である。
• OOD検出のしきい値は、分布内データにおける対数尤度比の分布に基づいて決定される。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのDNNにガウス尤度層を追加することで、追加の学習データなしにOODサンプルを検出できるか？
• RQ2 提案手法は、実行時推論オーバーヘッドをゼロに抑えることで、高いOOD検出性能を達成できるか？
• RQ3 ガウスモデルからの対数尤度比は、標準ベンチマークにおける既存のOOD検出ベースラインと比較してどうなるか？
• RQ4 この手法は、SVHN、CIFAR-10、CIFAR-100のような多様なデータセットに一般化可能か？

主な発見

• GLODは、OOD学習データを一切必要とせず、SVHN、CIFAR-10、CIFAR-100で最先端のOOD検出性能を達成する。
• この手法は追加の実行時推論コストを発生させないため、リアルタイムで安全が求められるアプリケーションに適している。
• ガウス層から計算される対数尤度比は、分布内入力と分布外入力を効果的に区別する。
• 最小限のアーキテクチャ的変更で、複数のベンチマークデータセットにおいて高い検出精度を維持する。