[論文レビュー] PAC Confidence Sets for Deep Neural Networks via Calibrated Prediction

Sangdon Park, Osbert Bastani+2 more|arXiv (Cornell University)|Dec 31, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用数 18

ひとこと要約

この論文では、統計的学習理論からの一般化限界とキャリブレーション予測を組み合わせることで、深層ニューラルネットワークのPAC（おそらく近似的に正しい）信頼区間を構築する手法を提案している。このアプローチにより、真のラベルが予測された信頼区間内に高確率で含まれることが保証され、ImageNet、視覚追跡、強化学習のベンチマークにおいて、理論的保証を維持しながらも小さな信頼区間サイズを達成している。

ABSTRACT

We propose an algorithm combining calibrated prediction and generalization bounds from learning theory to construct confidence sets for deep neural networks with PAC guarantees---i.e., the confidence set for a given input contains the true label with high probability. We demonstrate how our approach can be used to construct PAC confidence sets on ResNet for ImageNet, a visual object tracking model, and a dynamics model for the half-cheetah reinforcement learning problem.

研究の動機と目的

• 安全上の重要な応用分野において、信頼できる信頼性推定が不足している問題に対処すること。
• 真のラベルが高確率で含まれる理論的保証（PAC保証）を持つ信頼区間を開発すること。
• キャリブレーション予測と統計的学習理論を組み合わせることで、信頼区間の信頼性と一般化性能を向上させること。
• ImageNet、視覚的オブジェクト追跡、強化学習の動的モデルなど、多様なベンチマークでこの手法を評価すること。
• 医療アラームシステムにおいて実用的で、誤差率が低く、信頼性のある信頼区間を実証的に示すこと。

提案手法

• 事前に訓練された深層ニューラルネットワークの出力確率をキャリブレーションするために温度スケーリングを用いる。
• 統計的学習理論からの一般化限界を適用し、PAC保証を満たす信頼区間を導出する。
• 信頼区間 $ C_T(x) $ は、検証データ上での確率が $ 1 - \delta $ 以上である確率で、$ \mathbb{P}_{(x,y)\sim D}[y \in C_T(x)] \geq 1 - \epsilon $ を満たすように構築される。
• 一般化保証を可能にするために、検証データ上で単一の温度パラメータ $ \tau $ をフィットさせる。
• 分類タスクでは、キャリブレーション済み確率が最も高い上位 $ k $ 個のクラスを選択して信頼区間を形成する。
• 回帰および強化学習への応用を可能にするために、連続的および構造的出力に適応した信頼区間構築法にフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 キャリブレーション予測と一般化限界を組み合わせることで、深層ニューラルネットワークのPAC信頼区間を構築できるか？
• RQ2 理論的保証と実証的妥当性を維持したまま、PAC信頼区間をどれほど小さくできるか？
• RQ3 提案手法は、医療アラームシステムのような安全上の重要な応用分野における信頼性を向上させるか？
• RQ4 画像分類、視覚追跡、強化学習の動的モデル化といった多様なタスクにおいて、この手法はどの程度の性能を示すか？
• RQ5 限られた検証データを有する小規模データセットに対しても、低実証誤差を維持したまま適用可能か？

主な発見

• ImageNetでは、実証的信頼区間誤差が $ \hat{L}(C;Z_{\text{test}}) = 0.0159 $ にまで低下し、目標値 $ \epsilon = 0.02 $ を下回った。
• CHOPアラームデータセットでは、信頼区間予測子により27.94％の誤検出が抑制されたが、真のアラームのうち6.95％しか誤って抑制されなかった。
• Auto MPG回帰データセットでは、実証的信頼区間誤差が $ \hat{L}(C;Z_{\text{test}}) = 0.1250 $ にまで上昇したが、これは相対的に大きな $ \delta = 0.05 $ による可能性が高い。
• 学生の成績回帰データセットでは、実証誤差が $ \hat{L}(C;Z_{\text{test}}) = 0.0597 $ にまで低下し、$ \epsilon = 0.1 $ よりも著しく低い水準にあり、強い実証的妥当性を示した。
• 視覚的オブジェクト追跡では、信頼区間予測子が高確率で真値を過剰近似する緑色のバウンディングボックスを生成し、耐性の高さを示した。
• 明確なケースでは、ImageNetの簡単な画像に対して信頼区間サイズが小さく（例：$ |C(x)| = 1 $）、より曖昧または困難な入力ではより大きな信頼区間が得られた。