[論文レビュー] Know Your Limits: Monotonicity & Softmax Make Neural Classifiers Overconfident on OOD Data.

Dennis Ulmer, Giovanni Cinà|arXiv (Cornell University)|Dec 9, 2020

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、特徴表現における単調性とソフトマックス出力確率の使用が、標準的な不確実性推定手法を用いても、分布外（OOD）データに対してニューラル分類器が過信しすぎることを示している。理論的分析により、このようなモデルは、ソフトマックスおよび活性化関数の飽和特性のため、弱い単調性仮定のもとではOODサンプルを信頼性を持って検出できないことが証明されている。

ABSTRACT

A crucial requirement for reliable deployment of deep learning models for safety-critical applications is the ability to identify out-of-distribution (OOD) data points, samples which differ from the training data and on which a model might underperform. Previous work has attempted to tackle this problem using uncertainty estimation techniques. However, there is empirical evidence that a large family of these techniques do not detect OOD reliably in classification tasks. This paper puts forward a theoretical explanation for said experimental findings. We prove that such techniques are not able to reliably identify OOD samples in a classification setting, provided the models satisfy weak assumptions about the monotonicity of feature values and resulting class probabilities. This result stems from the interplay between the saturating nature of activation functions like sigmoid or softmax, coupled with the most widely-used uncertainty metrics.

研究の動機と目的

• 深層ニューラルネットワーク分類器におけるOODサンプルを検出できない不確実性推定手法の原因を調査すること。
• OOD入力が与えられた際のニューラル分類器の過信の根本的要因を特定すること。
• 特徴表現における単調性とソフトマックス出力の飽和がOOD検出を損なう役割を形式的に分析すること。
• 弱い単調性仮定のもとで、不確実性推定によるOOD検出が根本的に制限されることを理論的に証明すること。

提案手法

• 特徴値とそれに対応するクラス確率における単調性の弱い仮定の下で理論的分析が行われた。
• 論文は、ReLUまたはシグモイド活性化関数とソフトマックス出力層を備えた標準的な深層ニューラルネットワークの挙動をモデル化した。
• ソフトマックスおよびシグモイド関数の飽和特性が、OOD入力における信頼度スコアにどのように歪みをもたらすかを検討した。
• これらの仮定の下で、ソフトマックスエントロピーおよび最大確率といった広く用いられる不確実性指標の挙動に注目した。
• 単調性と飽和性のため、OODサンプルが系統的に高信頼度の予測として誤分類されるという形式的証明が提示された。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な不確実性推定手法はニューラル分類器においてOODサンプルを検出できないのか？
• RQ2 特徴表現の単調性が、OODデータにおけるモデルの信頼度にどのように影響するのか？
• RQ3 ソフトマックスの飽和的挙動が、OOD入力に対して過信された予測を生成する役割を果たすのはどのような仕組みか？
• RQ4 どのような条件下で、標準的な不確実性指標を用いたOOD検出が根本的になされないのか？

主な発見

• 単調な特徴表現とソフトマックス出力を有するニューラル分類器は、不確実性推定を適用しても、OODデータに対して本質的に過信しすぎる。
• ソフトマックスおよび活性化関数の飽和的性質により、OODサンプルが高信頼度スコアを割り当てられ、分布内予測と類似した挙動を示す。
• 弱い単調性仮定のもとでは、不確実性推定手法はOOD入力を信頼性を持って検出できない。これはモデルアーキテクチャそのものの構造的制限によるものである。
• 理論的分析により、このようなモデルは、標準的な不確実性指標を用いても、OOD入力と分布内入力を根本的になくすことができないことが証明された。