[論文レビュー] Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection

Dennis Ulmer, Giovanni Cinà|arXiv (Cornell University)|Dec 9, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用数 6

ひとこと要約

本論文は、理論的および実験的に、一般的な不確実性推定手法を用いたReLUベースのニューラルネットワーク分類器が、信頼性の高い分布外（OOD）検出に失敗することを示している。著者らは、ReLUネットワークの区分的アフィン性と飽和活性化の性質により、不確実性指標（例：予測エントロピー）がOODデータに対して固定された過信レベルに収束することを証明しており、これは安全上の応用において真のOOD認識を要する状況で無効であることを示している。

ABSTRACT

A crucial requirement for reliable deployment of deep learning models for safety-critical applications is the ability to identify out-of-distribution (OOD) data points, samples which differ from the training data and on which a model might underperform. Previous work has attempted to tackle this problem using uncertainty estimation techniques. However, there is empirical evidence that a large family of these techniques do not detect OOD reliably in classification tasks. This paper gives a theoretical explanation for said experimental findings and illustrates it on synthetic data. We prove that such techniques are not able to reliably identify OOD samples in a classification setting, since their level of confidence is generalized to unseen areas of the feature space. This result stems from the interplay between the representation of ReLU networks as piece-wise affine transformations, the saturating nature of activation functions like softmax, and the most widely-used uncertainty metrics.

研究の動機と目的

• ReLUベースの分類器における不確実性推定が、なぜ分布外（OOD）サンプルを信頼性高く検出できないのかを説明すること。
• 特にReLUネットワーク構造と活性化関数に関連して、OOD領域における過剰な一般化された自信の根本的要因を同定すること。
• 予測エントロピー や 分散 といった広く用いられる不確実性指標が、やや緩い仮定のもとでOODデータに対して固定された確信度に収束することを実証すること。
• この失敗が、標準モデルにとどまらず、アンサンブル や 変分推論 の手法に対しても同様に生じることを示し、安全上の応用における信頼性の欠如を裏付けること。

提案手法

• 理論的分析では、ReLUネットワークを区分的アフィン変換としてモデル化し、学習データから離れた領域では不確実性指標が定数化されることを示している。
• 本論文は、予測エントロピーの勾配に対する漸近的バウンドを導出し、OOD領域では勾配が0に近づくことを証明することで、入力摂動に対する感度が失われる（＝感度なし）ことを示している。
• 合成されたハーフムーンデータを用いて、不確実性の表面と勾配の大きさを可視化し、学習分布を越えた領域に一定の自信が現れる様子を示している。
• 標準的なNN、モンテカルロドロップアウト、アンサンブル手法などの複数のモデルを訓練・評価し、エントロピー、分散、相互情報量といった指標を用いて不確実性の挙動を評価している。
• ReLU活性化関数の性質、ソフトマックスの飽和、不確実性推定の相互作用に焦点を当て、根本的なアーキテクチャ上の制限を明らかにしている。
• 実験的検証では、勾配ノルム分析を用いて、OOD領域では不確実性が入力変化に対して感度を失うことを示しており、理論的予測を確認している。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な不確実性推定を用いたReLUベースの分類器が、分布外（OOD）サンプルを検出できないのか？
• RQ2 ReLUネットワークのどの理論的性質が、不確実性レベルが未学習のOOD領域に一般化される原因となっているのか？
• RQ3 不確実性推定の失敗は、アンサンブル や 変分推論 を含む、さまざまな不確実性評価手法に対しても継続的に見られるのか？
• RQ4 学習データから離れた領域における不確実性指標の勾配はどのように振る舞い、OOD検出にどのような意味を持つのか？
• RQ5 過剰な一般化された自信は、ReLUネットワークの区分的アフィン構造とソフトマックスの飽和性に起因していると特定できるか？

主な発見

• 予測エントロピー などの不確実性指標は、学習分布からの入力距離に関係なく、OODサンプルに対して固定された定数値に収束する。
• 入力に関する予測エントロピーの勾配は、OOD領域では0に近づき、微小な入力摂動が不確実性に影響しないことを示しており、過剰な一般化された自信が生じる。
• この挙動は単一モデルに限らず、モンテカルロドロップアウト、アンサンブル手法、変分推論に対しても同様に見られ、ReLUベースの不確実性推定に根本的な欠陥があることを示している。
• 合成実験により、学習データを越えた領域に広大な一定の確信領域が出現することが確認され、不確実性ヒートマップでは白領域として可視化されている。
• 温度スケーリング や アンサンブル手法を用いても、静的で一定の確信領域が残り、OOD領域ではエピステミック不確実性が低いままであり、検出能力が損なわれる。
• 理論的分析により、やや緩い仮定のもとで、不確実性指標の漸近的挙動がOOD領域でバウンドされ、変動しないことが証明されており、信頼性のある検出は不可能である。