[論文レビュー] Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation

Aurick Zhou, Sergey Levine|arXiv (Cornell University)|Nov 5, 2020

Gaussian Processes and Bayesian Inference参考文献 35被引用数 5

ひとこと要約

本稿では、分布シフト下における深層ニューラルネットワークの信頼性の高い不確実性推定のためのスケーラブルな手法である、アモアタイズド条件付き正規化最大尤度（ACNML）を提案する。近似ベイジアン推論を用いて最小最大最適なCNML分布を近似することで、従来手法に比べて分布外入力における優れたキャリブレーションを達成しながら、大規模モデルに対しても計算的に実行可能である。

ABSTRACT

While deep neural networks provide good performance for a range of challenging tasks, calibration and uncertainty estimation remain major challenges, especially under distribution shift. In this paper, we propose the amortized conditional normalized maximum likelihood (ACNML) method as a scalable general-purpose approach for uncertainty estimation, calibration, and out-of-distribution robustness with deep networks. Our algorithm builds on the conditional normalized maximum likelihood (CNML) coding scheme, which has minimax optimal properties according to the minimum description length principle, but is computationally intractable to evaluate exactly for all but the simplest of model classes. We propose to use approximate Bayesian inference technqiues to produce a tractable approximation to the CNML distribution. Our approach can be combined with any approximate inference algorithm that provides tractable posterior densities over model parameters. We demonstrate that ACNML compares favorably to a number of prior techniques for uncertainty estimation in terms of calibration on out-of-distribution inputs.

研究の動機と目的

• 深層学習における信頼性の高い不確実性推定、特に分布シフト下でのこの重要な課題に取り組むこと。
• 条件付き正規化最大尤度（CNML）フレームワークの理論的最小最大最適性を保ちながら、実用的な手法を開発すること。
• 近似ベイジアン推論を用いて不確実なCNML計算をアモアタイズすることにより、深層ネットワークにおけるスケーラブルな不確実性推定を可能にすること。
• 分布外入力におけるモデルのキャリブレーションを向上させ、誤った予測における過信を低減すること。

提案手法

• ACNMLは、訓練データセット全体をモデルパラメータに関する近似事後分布に置き換えることで、計算不能なCNML予測分布を近似する。
• 効率的な推論を可能にするために、SWAG や KFAC-Laplace などの計算可能な事後分布を用いて不確実性を表現する。
• 各テスト入力に対して、ACNMLは、各モデルがテスト入力および近似事後分布に条件付けられたラベル固有のモデル更新の上での正規化によって予測分布を計算する。
• 最小記述長（MDL）の原則を活用し、過信を罰するコーディング方式を用いることで、最小最大レジット最適な挙動を保証する。
• ACNMLは、パラメータ上の計算可能な事後密度を提供する任意の近似ベイジアン推論手法と互換性がある。
• ACNMLは、各テスト入力ごとのモデル再訓練のコストを、CNML分布のグローバルな近似を学習することでアモアタイズする。

実験結果

リサーチクエスチョン

• RQ1 計算可能なCNML分布の近似は、従来のベイジアンおよび非ベイジアン手法に比べ、分布外入力における不確実性キャリブレーションをより良くするか？
• RQ2 分布シフトの深刻度が増す状況下で、ACNMLのキャリブレーションと信頼性はどのように変化するか？
• RQ3 近似ベイジアン推論を効果的に活用することで、CNMLの計算コストをアモアタイズしつつも、その理論的保証を維持できるか？
• RQ4 ACNMLは、ナイーブなCNMLおよび標準的なディープラーニング推論と比較して、推論速度と精度の点でどのように差をつけるか？

主な発見

• ACNMLは、MAP、SWA、SWAG-D、KFAC-Laplaceに比べ、分布外入力において顕著に優れたキャリブレーションを達成し、より保守的で信頼性の高い信頼度推定を提供する。
• 重度の破損が加わった状況では、ACNMLのバリエーションが競合手法よりも著しく低い期待キャリブレーション誤差（ECE）と優れたブライアスコアを達成する。
• ACNMLは、ナイーブなCNML（例：MNIST MLPで1入力あたり0.08秒 vs. 13.83秒）よりも2桁以上速く、実世界の展開に実用的である。
• より保守的であるにもかかわらず、ACNMLはイン・ディストリビューションのCIFAR-10テストセットにおいて、競合する過信の強いベースラインを上回る、競争力のある精度とブライアスコアを維持する。
• ACNMLはクラス数に線形にスケーリングされるが、データセットサイズとは無関係であるため、大規模モデルにおける効率的な推論が可能である。
• ACNMLの信頼度推定は、分布外入力に対して低信頼度を的確に示し、高リスクの応用における安全な放棄（abstention）を可能にする。