[論文レビュー] Provable Worst Case Guarantees for the Detection of Out-of-Distribution Data.

Julian Bitterwolf, Alexander Meinke+1 more|arXiv (Cornell University)|Jul 16, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用数 5

ひとこと要約

この論文では、特定のOODポイントの周囲の$l_\infty$-ボール内でも、OODポイントそのものだけでなく、低信頼度を強制することで、深層ニューラルネットワークにおける分布外（OOD）検出の証明可能な最悪ケース保証を提供する手法を提案している。区間境界伝播（IBP）を用いて、訓練中にこれらのボール上の信頼度の上界を最小化することで、最小限の精度低下で証明可能なOOD検出を達成している。

ABSTRACT

Deep neural networks are known to be overconfident when applied to out-of-distribution (OOD) inputs which clearly do not belong to any class. This is a problem in safety-critical applications since a reliable assessment of the uncertainty of a classifier is a key property, allowing to trigger human intervention or to transfer into a safe state. In this paper, we are aiming for certifiable worst case guarantees for OOD detection by enforcing not only low confidence at the OOD point but also in an $l_\infty$-ball around it. For this purpose, we use interval bound propagation (IBP) to upper bound the maximal confidence in the $l_\infty$-ball and minimize this upper bound during training time. We show that non-trivial bounds on the confidence for OOD data generalizing beyond the OOD dataset seen at training time are possible. Moreover, in contrast to certified adversarial robustness which typically comes with significant loss in prediction performance, certified guarantees for worst case OOD detection are possible without much loss in accuracy.

研究の動機と目的

• 安全上の重要な応用分野において、深層ニューラルネットワークが分布外（OOD）入力に対して過信しすぎることを防ぐこと。
• 分類器がOODデータに高い信頼度を割り当てないという、最悪ケース保証を提供すること。これは、そのようなポイントの近傍領域に対しても成立する。
• 敵対的例に対して一般的に用いられる「証明可能なロバストネス」の概念を、OOD検出に拡張し、学習済みOOD分布を超えた信頼性を保証すること。
• 高いインダストリーデータ精度を維持しながら、強力なOOD検出保証を達成すること。一般的に敵対的ロバストネスで見られるような、精度の著しい低下を回避すること。

提案手法

• この手法は、区間境界伝播（IBP）を用いて、与えられたOODポイントの周囲の$l_\infty$-ボール内の任意の入力に対して、ニューラルネットワークが割り当てる最大信頼度の上界を計算する。
• 訓練中に、この上界を最小化するようにモデルを最適化することで、ネットワークがOOD入力およびその局所的近傍において不確実なままであることを保証する。
• このアプローチは、OODポイントでのみではなく、その周囲のロバストな近傍領域でも信頼度が低くなるように強制し、OOD入力に対する最悪ケース保証を提供する。
• この手法は、訓練中に観測された特定のOODデータを超えて一般化され、未学習のOOD分布に対しても有効な境界を提供する。
• 訓練目的関数は、標準的な交差エントロピー損失と、IBPから導かれた信頼度上界に基づく正則化項を組み合わせている。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークが分布外（OOD）入力に対して過信しすぎないという、証明可能な最悪ケース保証を提供することは可能か？
• RQ2 OODポイントそのものだけでなく、その周囲の$l_\infty$-ボール内に対しても低信頼度を証明することは可能か？
• RQ3 顕著なインダストリーデータ精度の低下を伴わずに、このような証明可能なOOD検出を達成できるか？
• RQ4 証明可能な境界は、訓練中に観測されていないOODデータに対しても、どの程度一般化するか？

主な発見

• この手法は、訓練中に観測された特定のOOD例を超えて、OODデータに対する非自明で証明可能な信頼度上界を効果的に提供している。
• 敵対的ロバストネスとは異なり、インダストリーデータにおける性能低下が最小限に抑えられることで、証明可能なOOD検出が実現可能である。
• 区間境界伝播（IBP）の使用により、OODポイントの$l_\infty$-ボール上での信頼度上界の計算が、効率的かつスケーラブルに行える。
• このアプローチは未学習のOOD分布に対しても一般化され、訓練済みOODセットに限定されないロバストネス保証を提供する。