[論文レビュー] Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning

Ankur Mallick, Chaitanya Dwivedi+3 more|arXiv (Cornell University)|Jul 18, 2020

Anomaly Detection Techniques and Applications参考文献 21被引用数 4

ひとこと要約

本稿では、kNNを確率的分布として潜在空間でモデル化することで一般化する、サンプル効率的で不確実性に配慮した深層学習手法である確率的近傍成分分析（PNCA）を提案する。PNCAは、小データ環境下で、BNN やディープアンサンブルなどの最先端モデルと比較して不確実性推定を著しく改善し、実世界のCOVID-19X線分類タスクにおいて、精度を損なわずに分布外（OOD）検出性能を向上させるとともに、過信度を低減する。

ABSTRACT

While Deep Neural Networks (DNNs) achieve state-of-the-art accuracy in various applications, they often fall short in accurately estimating their predictive uncertainty and, in turn, fail to recognize when these predictions may be wrong. Several uncertainty-aware models, such as Bayesian Neural Network (BNNs) and Deep Ensembles have been proposed in the literature for quantifying predictive uncertainty. However, research in this area has been largely confined to the big data regime. In this work, we show that the uncertainty estimation capability of state-of-the-art BNNs and Deep Ensemble models degrades significantly when the amount of training data is small. To address the issue of accurate uncertainty estimation in the small-data regime, we propose a probabilistic generalization of the popular sample-efficient non-parametric kNN approach. Our approach enables deep kNN classifier to accurately quantify underlying uncertainties in its prediction. We demonstrate the usefulness of the proposed approach by achieving superior uncertainty quantification as compared to state-of-the-art on a real-world application of COVID-19 diagnosis from chest X-Rays. Our code is available at https://github.com/ankurmallick/sample-efficient-uq

研究の動機と目的

• 訓練データが限られた場合に深層ニューラルネットワークにおける不確実性推定が劣化することを是正すること。
• 低データ環境下でも高い精度を維持しながら、信頼性のある予測不確実性を提供できる、サンプル効率的な手法を開発すること。
• 誤分類または分布シフトを示す入力に対する過信度を低減することで、分布外（OOD）検出を改善すること。
• 医療診断などのハイリスク応用分野において、サンプル効率性と不確実性のキャリブレーションを統合すること。
• 特に胸部X線画像からのCOVID-19検出を含む、実世界の小データ医療画像タスクにおいて、提案手法の優位性を実証すること。

提案手法

• PNCAは、ニューラルネットワークを用いて微分可能距離尺度を学習することで、入力を潜在空間にマップする近傍成分分析（NCA）を拡張する。
• 入力を潜在空間におけるk近傍のクラス上での分布としてモデル化し、確率的予測を可能にする。
• 温度スケーリングを施したソフトマックスを用いた交差エントロピー損失により、エンドツーエンドで学習する。
• 近傍の選択確率は、潜在空間における二乗距離の指数関数を用いて計算され、他のすべての点に正規化される。
• 表現学習のための深層特徴抽出器（例：ResNet-50）に続く、微分可能なkNN機構を用いて、不確実性を考慮した分類を実現する。
• PNCAは確率的勾配降下法により最適化され、不確実性の定量化は、近傍の最大クラス確率から導出される。

実験結果

リサーチクエスチョン

• RQ1 BNN やディープアンサンブルなどの最先端モデルの不確実性推定性能が、小データ環境下でどのように劣化するか。
• RQ2 非パラメトリックなkNNアプローチを確率的に一般化することで、低データ設定下でもサンプル効率性と不確実性キャリブレーションを維持できるか。
• RQ3 確率的近傍選択を備えた深層kNN分類器は、標準DNNや不確実性に配慮したモデルと比較して、分布外入力の検出性能を上回るか。
• RQ4 ベースラインと比較して、PNCAは分布シフトを示すまたはOODのテストデータに対して、過信度の高い予測をどの程度低減できるか。
• RQ5 PNCAは、限られたラベル付きデータを有する実世界の医療画像分野において、高い精度と信頼性のある不確実性推定を同時に達成できるか。

主な発見

• 回転させたMNISTデータセットでは、PNCAはDNN、BNN、アンサンブルモデルと比較して、高信頼度レベルでの精度が高く、OODデータに対する高信頼度予測の数が著しく少ないことが確認された。
• not-MNIST OODデータセットでは、DNNやBNNと比較して、PNCAは高信頼度予測の数を50%以上削減し、優れたOOD検出性能を示した。
• 実世界のCOVID-19X線画像分類タスクでは、[4]の分布シフトを示すテストデータに対して、PNCAはDNNやBNNを含むすべてのベースラインと比較して、はるかに少ない高信頼度予測を出力した。
• ショルダーや手のX線画像（真のOOD）では、PNCAはDNN や BNN が強い過信度を示すのと対照的に、高信頼度の誤分類をはるかに少なくした。
• 陽性X線画像275枚、陰性X線画像76枚という限定的な学習データのみを用いても、PNCAはDNNと同等の精度を維持しながら、はるかに信頼性の高い不確実性推定を実現した。
• 提案手法は、分布シフト下でも、精度と不確実性キャリブレーションの両面で、最先端の不確実性に配慮したモデルを上回った。特に低データ環境下で顕著な優位性を示した。