[論文レビュー] Decomposition of Uncertainty in Bayesian Deep Learning for Efficient and Risk-sensitive Learning

Stefan Depeweg, José Miguel Hernández-Lobato+2 more|arXiv (Cornell University)|Oct 19, 2017

Machine Learning and Algorithms被引用数 121

ひとこと要約

本論文は潜在変数を持つベイズニューラルネットワークにおける予測不確実性を、エピステミックとアレータリックの部分に分解し、この分解を用いてアクティブラーニングを可能にし、連続設定におけるリスク感度のあるRL基準を導入する。

ABSTRACT

Bayesian neural networks with latent variables are scalable and flexible probabilistic models: They account for uncertainty in the estimation of the network weights and, by making use of latent variables, can capture complex noise patterns in the data. We show how to extract and decompose uncertainty into epistemic and aleatoric components for decision-making purposes. This allows us to successfully identify informative points for active learning of functions with heteroscedastic and bimodal noise. Using the decomposition we further define a novel risk-sensitive criterion for reinforcement learning to identify policies that balance expected cost, model-bias and noise aversion.

研究の動機と目的

• 潜在変数を持つBNNにおける予測不確実性をエピステミックとアレータリックの成分に分解する方法を説明する。
• ヘテロスケダスティックおよび双峰ノイズの下でデータ効率の高いアクティブラーニングを実証する。
• モデルバイアスとノイズを天秤にかけるリスク感度モデルベースRL基準を導入する。
• 非線形でノイズが複雑な設定において、不確実性分解がベースラインに対して empirical に有益であることを示す。

提案手法

• 潜在入力 z および重み不確実性 q(W) を含む潜在変数付きベイズニューラルネットワーク（BNN+LV）をモデルとして用いる。
• 不確実性の分解：予測 p(y*|x*) におけるエピステミックとアレータリック不確実性を分離するためのエントロピーおよび分散ベースの分割を導出する。
• アクティブラーニング：情報理論的後方エントロピー減少量 I(W,y*) を用いてエピステミック不確実性が高い情報量豊富な x* を選択する。
• リスク感度RL：仮想ロールアウトにおける期待コストとエピステミックおよびアレータリックリスク項をバランスさせる基準を定義し、モデルバイアスとノイズ回避とを結びつける。
• モンテカルロ推定：W~q(W)、z*、ノイズをサンプリングしてエントロピー、分散、リスク項を近傍法エントロピー推定器を必要に応じて用いて近似する。
• 比較：不確実性分解を検証するためにGPベースラインおよび変分/ハミルトニアンモンテカルロ（HMC）推論バリアントと比較する。

実験結果

リサーチクエスチョン

• RQ1 潜在変数を持つBNNにおける予測不確実性をエピステミックとアレータリックの成分に分解する方法は？
• RQ2 分解によってヘテロスケダスティックまたは双峰ノイズの設定でアクティブラーニングが改善されるか？
• RQ3 この分解を活用したリスク感度基準は連続領域のモデルベースRLにおける方針学習を改善できるか？
• RQ4 提案手法は予測性能と不確実性の質という点でGPベースラインや他の推論法と比較してどうか？

主な発見

Dataset	I_bb-α(W,y*)	H_bb-α(y*|x*)	GP
Heteroscedastic	-1.79 ± 0.03	-1.92 ± 0.03	-2.09 ± 0.02
Bimodal	-2.04 ± 0.01	-2.06 ± 0.02	-2.86 ± 0.01
Wet-chicken	1.18 ± 0.16	0.57 ± 0.20	-3.22 ± 0.03

• エピステミック不確実性はデータが不足している領域と一致し、複雑なノイズ下でのアクティブラーニングに有効な情報入力を特定する。
• エントロピーに基づく分解は、全体の不確実性が偏る場合でもヘテロスケダスティックおよび双峰データの入力情報を明らかにする。
• エンコーダ付きBNN+LVはヘテロスケダスティックおよびウェットチキンタスクでGPベースラインよりアクティブラーニング性能が高い。
• RLにおいてリスク感度基準はリスクをエピステミック（モデルバイアス）とアレータリック（ノイズ）成分に分割し、安全で信頼性の高い方策を導く。
• 全ての実験を通じて、情報利得を用いたアクティブラーニングとリスク加重ロールアウトコストがモデルバイアスを低減し、ベースラインと比較して性能を改善する。