[論文レビュー] Morse Neural Networks for Uncertainty Quantification

Benoît Dherin, Huiyi Hu+3 more|arXiv (Cornell University)|Jul 2, 2023

Anomaly Detection Techniques and ApplicationsComputer Science被引用数 3

ひとこと要約

この論文では、モードを高次元の部分多様体としてモデル化することで、非正規化ガウス密度を一般化するMorseニューラルネットワークを導入する。これにより、統一的な不確実性評価が可能になる。特徴表現のKLダイバージェンス損失を最小化することで、OOD検出、キャリブレートされた不確実性、生成的サンプリング、距離に配慮した分類を同時に実現。教師あり微調整を用いることで、CIFAR-100のOOD検出で0.969のAUROCを達成した。

ABSTRACT

We introduce a new deep generative model useful for uncertainty quantification: the Morse neural network, which generalizes the unnormalized Gaussian densities to have modes of high-dimensional submanifolds instead of just discrete points. Fitting the Morse neural network via a KL-divergence loss yields 1) a (unnormalized) generative density, 2) an OOD detector, 3) a calibration temperature, 4) a generative sampler, along with in the supervised case 5) a distance aware-classifier. The Morse network can be used on top of a pre-trained network to bring distance-aware calibration w.r.t the training data. Because of its versatility, the Morse neural networks unifies many techniques: e.g., the Entropic Out-of-Distribution Detector of (Macêdo et al., 2021) in OOD detection, the one class Deep Support Vector Description method of (Ruff et al., 2018) in anomaly detection, or the Contrastive One Class classifier in continuous learning (Sun et al., 2021). The Morse neural network has connections to support vector machines, kernel methods, and Morse theory in topology.

研究の動機と目的

• 深層学習における不確実性評価、特に分布外（OOD）入力に対する課題を解決すること。
• OOD検出、異常検出、キャリブレートされた分類の異なる手法を、1つの深層生成的フレームワークで統合すること。
• データモードを離散的な点ではなく部分多様体としてモデル化することで、距離に配慮した分類を可能にすること。
• 事前学習済みネットワークの上に適用可能で、柔軟かつエンドツーエンドの方法を提供すること、不確実性推定を向上させること。

提案手法

• Morseニューラルネットワークは、特徴空間内の固定された参照点aと特徴表現φθ(x)の間のカーネル類似度K(φθ(x), a)を用いて、非正規化密度μ(x) = K(φθ(x), a)をモデル化する。
• 非教師ありの場合、実測データ分布とカーネルベース密度との間のKLダイバージェンスを最小化することでモデルを学習し、一様にサンプリングされた点からの正則化項を追加する。
• 教師あり学習では、ワンホットエンコードされたラベルを用いて、同時密度μ(x,y) = K(φθ(x), y)をモデル化し、同時密度推定と距離に配慮した分類を可能にする。
• ガウス、コーシー、ラプラスなどのカーネル関数を用いることで、密度の形状と不確実性、OOD検出との関係を制御する。
• 分類器はμ(y|x) = K(φθ(x), y) / ∑y′ K(φθ(x), y′)として導出され、ラプラスカーネルを用いる場合、エントロピーに基づくOOD検出器と一致する。
• ランダムな初期点からの勾配フローによって、ポisson生成モデルにインspiredされた生成的サンプリングが可能になる。

Figure 1: Top row (distance-aware calibration): Left: Probability output of a ResNet trained to separate the noisy two-moons dataset. Middle and Right: Probability plots of the same ResNet but with its logits calibrated using the unsupervised Gaussian Morse temperature at decreasing kernel bandwidth

実験結果

リサーチクエスチョン

• RQ1 1つの深層生成的モデルが、OOD検出、不確実性キャリブレーション、生成的サンプリングを統合できるか？
• RQ2 点モード密度と比較して、モードを部分多様体としてモデル化することで不確実性評価がどのように向上するか？
• RQ3 Morseネットワークは、バックボーンの再学習なしに、事前学習済みモデルにおける不確実性推定を向上させることができるか？
• RQ4 教師ありMorseネットワークは、非教師ありバージョンよりも優れたOOD検出性能を達成できるか？
• RQ5 Morseネットワークと、SVDD、SNGP、エントロピーに基づくOOD検出器といった既存手法との関係は何か？

主な発見

• 教師ありMorseネットワークは、CIFAR-100のOOD検出で、非教師ありの0.955から0.969にAUROCを向上させ、一般化性能の向上を示した。
• ラプラスカーネルを用いたMorseネットワークは、Macêdoら（2021）のエントロピーに基づくOOD分類器を再現し、設計選択の妥当性を検証した。
• コーシーカーネルを用いることで、SNGPにおける温度パラメータに類似したパラメータを回復したが、逆行列計算ではなく学習された分散を用いる。
• ガウスカーネルを用いた非教師ありMorseネットワークは、1クラスのDeep SVDDの目的関数に還元され、理論的根拠を確認した。
• モデルは構造的に距離に配慮した分類を可能にし、訓練データモードからの距離が増すほど不確実性が増加する。
• 可視化結果から、教師ありMorseネットワークは非教師ありバージョンよりも、非連結なモード部分多様体をよりよく捉えていることが示された。

Figure 2: Supervised Morse model: The supervised Morse model is able to learn disconnected mode submanifolds for each of the labels. The model architecture and training setup is the same as the unsupervised case described above, except for the output layer that has a dimension of 2 (one dimension pe