[論文レビュー] Sensitivity Analysis for Predictive Uncertainty in Bayesian Neural Networks

Stefan Depeweg, JM Hernández-Lobato+2 more|arXiv (Cornell University)|Dec 10, 2017

Fault Detection and Control Systems参考文献 4被引用数 6

ひとこと要約

本稿では、潜在変数を有するベイジアンニューラルネットワークにおける予測不確実性のうち、認識論的不確実性（epistemic）とアレアトリック不確実性（aleatoric）に与える入力特徴の影響を定量化する、新しい感度分析手法を提案する。入力に対して予測不確実性の各成分の勾配を計算することで、モデルの信頼性（epistemic）や固有のノイズ（aleatoric）を引き起こす特徴が特定され、実世界のデータセットにおける複雑な確率的モデルの解釈可能性が向上する。

ABSTRACT

We derive a novel sensitivity analysis of input variables for predictive epistemic and aleatoric uncertainty. We use Bayesian neural networks with latent variables as a model class and illustrate the usefulness of our sensitivity analysis on real-world datasets. Our method increases the interpretability of complex black-box probabilistic models.

研究の動機と目的

• ブラックボックスな確率的モデルの解釈性を向上させるために、入力特徴が予測不確実性に与える影響を分析すること。
• 予測不確実性を認識論的不確実性（モデルの不確実性）とアレアトリック不確実性（データノイズ）に分解し、それらが入力にどのように依存するかを分析すること。
• 標準の勾配ベース手法を拡張し、ベイジアンニューラルネットワークにおける不確実性成分への感度分析フレームワークを構築すること。
• 不確実性に顕著に影響を与える特徴を特定することで、モデルの監視と安全性に役立つインサイトを提供すること。

提案手法

• 本手法は、複雑な確率的関数をモデル化し、認識論的不確実性とアレアトリック不確実性の両方を定量化するために、潜在変数を有するベイジアンニューラルネットワークを用いる。
• 予測分散を認識論的成分とアレアトリック成分に分解するため、全変動の法則を各出力次元に適用する。
• 感度スコアは、テストデータ上で、認識論的およびアレアトリック不確実性成分の入力特徴に関する平均絶対勾配として計算される。
• 認識論的感度は、モデル重みの上での期待出力の分散の勾配として定義され、アレアトリック感度は、潜在変数の上での期待分散の勾配として定義される。
• 不確実性成分およびその勾配の推定に、重みと潜在変数の両方でモンテカルロサンプリング（各200サンプル）を用いる。
• モデルの学習には、α=1.0としてブラックボックスα-発散最小化を用い、重みと潜在変数の上での近似事後分布を最適化する。

実験結果

リサーチクエスチョン

• RQ1 どの入力特徴がベイジアンニューラルネットワークの予測において認識論的不確実性に最も顕著に影響を与えるか？
• RQ2 どの入力特徴がアレアトリック不確実性に最も顕著に影響を与え、観測されない潜在要因に依存しているか？
• RQ3 多様な実世界の回帰データセットにおいて、認識論的不確実性とアレアトリック不確実性の感度はどのように比較されるか？
• RQ4 不確実性成分の感度分析により、既知のデータ生成メカニズムと整合する有意義なパターンが明らかになるか？

主な発見

• 異分散性ノイズを有するトピックデータセットでは、本手法は正しく $x_1$ が認識論的不確実性を引き起こし、$x_2$ がアレアトリック不確実性を引き起こすと特定した。これはデータ生成プロセスと一致した。
• パワープラントデータセットでは、温度と大気圧がアレアトリック不確実性の主な要因であると特定され、エネルギー出力に影響を与える複雑な燃焼プロセスと整合的であった。
• 船舶推進プラントデータセットでは、コンプレッサーの入口温度と圧力が、データセット内で一定値をとるため、認識論的不確実性が高かった。これは、分布外の入力へのモデル感受性を示しており、妥当であった。
• UCIデータセット全体を通じて、混合パターンが観察された。一部の問題では認識論的感度が支配的であり、他の問題ではアレアトリック感度が支配的であり、また一部では両者の組み合わせが顕著であった。これは、データセットのサイズや固有の不均一性を反映していた。
• 感度スコアは、実用的インサイトを提供した。例えば、高い認識論的感度を示す特徴は、安全性監視が必要であると特定され、高いアレアトリック感度を示す特徴は、観測されない確率的プロセスと関連していると特定された。