[論文レビュー] Nonparametric Uncertainty Quantification for Single Deterministic Neural Network

Nikita Kotelevskii, Aleksandr Artemenkov+7 more|arXiv (Cornell University)|Feb 7, 2022

Machine Learning and Data Classification被引用数 8

ひとこと要約

本稿では、単一の決定的ニューラルネットワークにおける不確実性推定のための高速でスケーラブルな手法である非パラメトリック不確実性評価（NUQ）を提案する。潜在表現におけるNadaraya-Watsonカーネルスムージングを活用して条件付きラベル分布を推定することで、NUQは妥当なアレアトリック不確実性とエピステミック不確実性の分離を実現し、MaxProb や DDU などのベースラインと比較して、特に低データ環境下で画像および自然言語のベンチマーク（ImageNet、MNIST、GLUE データセットを含む）で優れた性能を示す。

ABSTRACT

This paper proposes a fast and scalable method for uncertainty quantification of machine learning models' predictions. First, we show the principled way to measure the uncertainty of predictions for a classifier based on Nadaraya-Watson's nonparametric estimate of the conditional label distribution. Importantly, the proposed approach allows to disentangle explicitly aleatoric and epistemic uncertainties. The resulting method works directly in the feature space. However, one can apply it to any neural network by considering an embedding of the data induced by the network. We demonstrate the strong performance of the method in uncertainty estimation tasks on text classification problems and a variety of real-world image datasets, such as MNIST, SVHN, CIFAR-100 and several versions of ImageNet.

研究の動機と目的

• 単一の決定的ニューラルネットワークにおける原理的かつスケーラブルな不確実性評価手法の不足を解消すること。
• 従来の手法が強い仮定（例：潜在空間における正規性）に依存するか、高い計算コストを伴うという限界を克服すること。
• モデルの不確実性が最も重要となる低リソース環境における信頼性の高い不確実性推定を可能にすること。
• アンサンブルやベイジアン推論を必要とせず、アレアトリック不確実性とエピステミック不確実性を分離する統一フレームワークを提供すること。
• 任意のトレーニング済みネットワークの特徴空間で直接動作するため、多様なディープラーニングモデルへの適用可能性を確保すること。

提案手法

• 条件付きラベル分布のNadaraya-Watson推定量に基づいて導出された、誤った予測の確率（点ごとのベイズリスク）として不確実性を定式化する。
• 潜在空間内のトレーニング埋め込みを用いて、テストポイントにおけるクラス確率のカーネルベース非パラメトリック推定量を用いる。
• Nadaraya-Watson推定量の漸近的ガウス近似を適用し、ベイズリスクの上界を導出し、これが総不確実性推定値として機能する。
• リスク上界をデータの曖昧さ（アレアトリック）とモデルの不確実性（エピステミック）の項に分解することで、総不確実性を分離する。
• スケーラビリティを実現するため、近似最近傍探索を用いて効率的に実装し、ImageNet などの大規模データセットへの応用を可能にする。
• 任意のニューラルネットワークの学習済み特徴表現を、カーネルベース不確実性推定の入力として使用することで、この手法を適用可能にする。

実験結果

リサーチクエスチョン

• RQ1 潜在空間におけるカーネルスムージングに基づく非パラメトリック手法が、アンサンブルやベイジアン推論を必要とせずに信頼性の高い不確実性推定を提供できるか？
• RQ2 提案手法は、既存のベースラインと比較して、アレアトリック不確実性とエピステミック不確実性をどの程度うまく分離できるか？
• RQ3 分布仮定が崩れやすい既存手法の限界が顕著になる低データ環境下でも、本手法は高い性能を維持できるか？
• RQ4 ImageNet-O や ImageNet-R のような標準ベンチマークで、本手法は状態を凌駕するOOD検出性能を達成できるか？
• RQ5 ImageNet などの大規模データセットに対して、本手法はどの程度スケーラブルであり、アンサンブルやモンテカルロ法と比較して計算効率はいかがなものか？

主な発見

• アンサンブルを用いた場合、NUQ は ImageNet-O で AUC 59.1、ImageNet-R で AUC 76.1 を達成し、MaxProb や他のベースラインを上回る性能を示した。
• Two Moons のトイデータセットでは、200 ポイントの訓練データのみで NUQ は曖昧領域における高い不確実性を正しく同定できるが、DDU はその不確実性を検出できない。
• ELECTRA ベースのモデルを用いた GLUE ベンチマークにおけるテキスト分類では、NUQ は最高性能を達成し、ROSTD で最大 0.995、CLINC で最大 0.979 の正解率を記録した。
• 本手法は低リソース環境でもロバストである：正規性仮定に依存する手法とは異なり、訓練データが少ない状況でも高い不確実性推定品質を維持する。
• NUQ の不確実性の分離により、曖昧なインダゥトリビューションサンプル（高いアレアトリック不確実性）と分布外インスタンス（高いエピステミック不確実性）を識別可能となり、より良いアクティブラーニングや人間による意思決定支援が可能になる。
• 本手法は ImageNet などの大規模データセットに対しても効率的にスケーリング可能であり、推論時間と同等の計算コストで実現可能であり、実世界の展開に実用的である。