[論文レビュー] Stationary Activations for Uncertainty Calibration in Deep Learning

Lassi Meronen, Christabella Irwanto+1 more|arXiv (Cornell University)|Oct 19, 2020

Anomaly Detection Techniques and Applications参考文献 50被引用数 7

ひとこと要約

本稿では、ガウス過程におけるマテrnカーネル族から導出された非線形ニューラルネットワーク活性化関数、すなわちマテrn活性化関数を紹介する。無限幅ネットワークにおけるGP事前分布と関連付けることで、特に分布外（OOD）入力において不確実性のキャリブレーションが向上し、標準的なReLUやRBF活性化関数と比較して、マテrn-5/2がOOD不確実性の分離性能に優れていることが示された。

ABSTRACT

We introduce a new family of non-linear neural network activation functions that mimic the properties induced by the widely-used Matérn family of kernels in Gaussian process (GP) models. This class spans a range of locally stationary models of various degrees of mean-square differentiability. We show an explicit link to the corresponding GP models in the case that the network consists of one infinitely wide hidden layer. In the limit of infinite smoothness the Matérn family results in the RBF kernel, and in this case we recover RBF activations. Matérn activation functions result in similar appealing properties to their counterparts in GP models, and we demonstrate that the local stationarity property together with limited mean-square differentiability shows both good performance and uncertainty calibration in Bayesian deep learning tasks. In particular, local stationarity helps calibrate out-of-distribution (OOD) uncertainty. We demonstrate these properties on classification and regression benchmarks and a radar emitter classification task.

研究の動機と目的

• 分布外（OOD）入力に対して不確実性のキャリブレーションが不十分な深層ニューラルネットワークの課題を解決すること。
• 構造化された活性化関数を通じた事前知識の埋め込みにより、ベイジアン深層学習モデルの解釈可能性と信頼性を向上させること。
• マテrnカーネル族から新しい活性化関数を導出することで、ガウス過程の事前分布とニューラルネットワーク活性化関数の間のギャップを埋めること。
• 活性化関数における局所定常性と限界的な平均二乗微分可能性が、OOD不確実性推定に良い影響を及えることの実証。
• 標準的なReLUやRBF活性化関数の代替として、well-understoodなGPカーネル特性に基づいた原理的かつ整合性のある代替案を提供すること。

提案手法

• 無限幅ニューラルネットワークで用いられるカーネル-活性化関数のマッピングを逆転させることで、新しい非線形活性化関数の族を導出する。
• マテrnカーネルのパラメータ（滑らかさνと長さスケールℓ）を直接活性化関数のパラメータにマッピングし、GP事前分布と整合性を保つ。
• マテrn活性化関数を用いた1層、無限に広いニューラルネットワークがマテrnプロセスで処理されたGPと明示的に同等であることを確立する。
• モンテカルロドロップアウトを用いて近似ベイジアン推論を実装し、複雑な変分推論を必要とせずに不確実性の定量的評価を可能にする。
• 標準的な順方向ネットワークを、マテrn-ν/2活性化関数（ν = 1.5, 2.5, 4.5）を用いて学習し、ReLU, RBF, ERF, ステップ活性化関数と性能と不確実性キャリブレーションを比較する。
• 予測分散のヒストグラムと、既知クラスおよび未知クラスの高/低分散テストサンプルの可視化による不確実性の評価。

実験結果

リサーチクエスチョン

• RQ1 よく知られたGPカーネルから導出されたマテrn活性化関数は、深層ニューラルネットワークにおける不確実性キャリブレーションを向上させることができるか？
• RQ2 マテrn活性化関数における局所定常性は、標準的なReLUやRBF活性化関数と比較して、分布外（OOD）不確実性推定にどのような影響を及えるか？
• RQ3 活性化関数における限界的な平均二乗微分可能性は、一般化性能と不確実性の定量的評価を向上させるか？
• RQ4 マテrn族における滑らかさパラメータνの選択が、OOD検出タスクにおける不確実性キャリブレーションとモデル性能に与える影響は何か？
• RQ5 提案された活性化関数は、既存の活性化関数と比較して、既知クラスと未知クラスの不確実性の分離をより良く実現できるか？

主な発見

• CIFAR-10 OODベンチマークにおいて、マテrn-5/2活性化関数は、既知クラスにおける高不確実性と未知クラスにおける低不確実性の分離が顕著に優れている。
• マテrn-3/2活性化関数は、既知クラス入力では高不確実性、未知クラス入力では低不確実性を示す直感的な不確実性パターンを生成する。
• 指数関数的（マテrn-1/2）活性化関数は、既知クラスおよび未知クラスの両方で一貫して高い分散を示し、OOD不確実性の分離が不十分である。
• ReLUおよびステップ活性化関数は、正しく分類された未知クラスサンプルに対しても不確実性が高く、不確実性のキャリブレーションが著しく悪い任意のパターンを示す。
• ERFおよびRBF活性化関数は中程度のOOD不確実性分離を示すが、マテrn-5/2およびマテrn-3/2に比べて直感的かつ一貫性のある不確実性キャリブレーションが劣る。
• マテrn-5/2活性化関数は、性能と不確実性キャリブレーションの両面で最良のバランスを達成しており、既知クラスでは高い信頼性、未知クラスでは高い不確実性を示す。