[論文レビュー] Towards neural networks that provably know when they don't know

Alexander Meinke, Matthias Hein|arXiv (Cornell University)|Sep 26, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用数 9

ひとこと要約

本稿では、ガウス・ミックスチャネル・モデルを生成的事前分布として用いることで、ReLUニューラルネットワークを変更し、学習データから離れた領域で予測の信頼度が低くなることを数学的に保証する、Certified Certain Uncertainty (CCU) を提案する。CCUは、分布外（OOD）の点の近傍全体にわたり、低信頼度予測が保証される初めての手法であり、最悪ケースのOOD検出性能を顕著に上回りつつ、分布内分類の高精度とOOD性能を維持する。

ABSTRACT

It has recently been shown that ReLU networks produce arbitrarily over-confident predictions far away from the training data. Thus, ReLU networks do not know when they don't know. However, this is a highly important property in safety critical applications. In the context of out-of-distribution detection (OOD) there have been a number of proposals to mitigate this problem but none of them are able to make any mathematical guarantees. In this paper we propose a new approach to OOD which overcomes both problems. Our approach can be used with ReLU networks and provides provably low confidence predictions far away from the training data as well as the first certificates for low confidence predictions in a neighborhood of an out-distribution point. In the experiments we show that state-of-the-art methods fail in this worst-case setting whereas our model can guarantee its performance while retaining state-of-the-art OOD performance.

研究の動機と目的

• 安全で信頼性が求められる応用分野において、学習データから離れた領域でReLUネットワークが恣意的に高い信頼度の予測を出力してしまうという、信頼性を損なう根本的問題に対処すること。
• 個々の点にとどまらず、分布外入力の近傍全体にわたり、低信頼度予測の数学的保証を提供する手法を開発すること。
• 分類精度を犠牲にすることなく、分布内分類および分布外検出の分野で最先端の性能を維持すること。
• 既存のOOD検出手法が、最悪ケースの敵対的摂動に対して脆弱であり、耐性の保証がないという限界を克服すること。
• ベイジアンフレームワークと生成的モデリング（ガウス・ミックスチャネル・モデル）を統合することで、深層ネットワークにおける公式な不確実性推定を可能にすること。

提案手法

• 本手法は、分布内および分布外データを別々にモデル化するベイジアンフレームワークを用い、分布外データはガウス・ミックスチャネル・モデル（GMM）としてモデル化する。
• 学習を最大尤度推定問題として定式化し、分布内分類精度と、証明可能なOOD不確実性の両方を直接最適化する。
• GMMに基づく密度推定器により、任意の分布外点の近傍全体における予測信頼度の上界を数学的に証明可能に計算可能となる。
• アーキテクチャにGMMを統合することで、証明可能な不確実性評価を可能にする統合表現をモデルが学習可能となる。
• 区間解析とReLUネットワークのリプシッツ性を用いて、入力空間における微小な摂動に対してもロバストな、信頼度の上限を証明する。
• 標準的なReLUネットワークと互換性があり、GMM事前分布を組み込む以外に、アーキテクチャの変更は不要である。

実験結果

リサーチクエスチョン

• RQ1 ReLUベースのニューラルネットワークを、学習分布から離れた領域で、信頼度が低くなることを数学的に保証できるように変更可能か？
• RQ2 個々の点ではなく、分布外点の近傍全体にわたり、信頼度が低いままであるという数学的保証を提供できるか？
• RQ3 既存の最先端OOD検出手法は、分布外入力の近傍における最悪ケースの敵対的摂動に対して失敗するか？
• RQ4 高精度な分布内分類と強力なOOD検出性能を両立させつつ、形式的な保証を提供できるか？
• RQ5 標準的な深層ネットワークに生成的モデリングを統合し、公式な不確実性推定を可能にするのは可能か？

主な発見

• CCUは、CIFAR-10、CIFAR-100、SVHN、ImageNetを含むすべての評価データセットで、ベースラインモデルと同等またはそれ以上の性能を示し、最先端の分布内分類精度を達成した。
• OOD検出において、CCUとODINアンサンブル（OE）が最高のAUCスコアを達成し、CIFAR-10で一様ノイズをOODとみなした場合に97.8%のAUCを記録し、他の手法を上回った。
• ODIN、MCD、Mahalanobisを含むすべての最先端OOD手法は、ノイズ入力の近傍における最悪ケースの摂動に対して失敗したが、CCUは近傍全体で低信頼度を維持した。
• 本手法は、近傍全体にわたり正式な信頼度の上限を提供しており、その証明として、ノイズ画像の小さな球体内でのいかなる敵対的摂動も、モデルの信頼度を証明可能な上界を超えて上昇させないことが確認された。
• LSUN-CC や ImageNet-Noise といった挑戦的なOODベンチマークでも、CCUは高い性能を維持し、LSUN-CCで98.6%、ImageNet-Noiseで97.0%のAUCを達成した。
• ガウス・ミックスチャネル・モデルを密度推定器として用いることで、従来のVAEやGANでは得られない形式的保証が導出可能となった。