[論文レビュー] Feed-forward Uncertainty Propagation in Belief and Neural Networks

Alexander Shekhovtsov, Boris Flach+1 more|arXiv (Cornell University)|Mar 28, 2018

Adversarial Robustness in Machine Learning参考文献 2被引用数 3

ひとこと要約

この論文は、ニューラルネットワークの各層を通過する際に平均と分散の両方を追跡できる、フィードフォワード型の不確実性伝播手法を提案する。反復的計算を要せず、近似的なベイズ推論を可能にする。この手法はエンドツーエンド学習をサポートし、入力ノイズやドロップアウトに対するロバストネスを向上させるとともに、計算効率を維持したまま深層ネットワークの安定性とキャリブレーション性能を向上させる。

ABSTRACT

We propose a feed-forward inference method applicable to belief and neural networks. In a belief network, the method estimates an approximate factorized posterior of all hidden units given the input. In neural networks the method propagates uncertainty of the input through all the layers. In neural networks with injected noise, the method analytically takes into account uncertainties resulting from this noise. Such feed-forward analytic propagation is differentiable in parameters and can be trained end-to-end. Compared to standard NN, which can be viewed as propagating only the means, we propagate the mean and variance. The method can be useful in all scenarios that require knowledge of the neuron statistics, e.g. when dealing with uncertain inputs, considering sigmoid activations as probabilities of Bernoulli units, training the models regularized by injected noise (dropout) or estimating activation statistics over the dataset (as needed for normalization methods). In the experiments we show the possible utility of the method in all these tasks as well as its current limitations.

研究の動機と目的

• 層を通過する際に平均と分散の両方を伝播させることで、深層ニューラルネットワークにおける不確実性を考慮した推論を可能にする。
• ベイズの後方分布を近似的に推定する、微分可能でエンドツーエンド学習可能な手法を提供する。
• 入力の不確実性、敵対的ノイズ、ドロップアウトに対して、解析的に分散伝播をモデル化することで、モデルのロバストネスを向上させる。
• ドロップアウト正則化、正規化手法、シグモイド活性化関数の確率的解釈といった実用的応用を支援する。
• 確率的グラフィカルモデルとディープラーニングの間のギャップを埋めるために、標準的なニューラルネットワークアーキテクチャにおける不確実性を考慮した学習と推論を可能にする。

提案手法

• 活性化の平均と分散の両方を追跡できる分散伝播層を導入し、標準的なニューラルネットワーク層を拡張する。
• 非線形関数を通過する際の不確実性伝播に1次近似を用い、入力同士の独立性を仮定し、分散推定にはデルタ法を適用する。
• シグモイドベルーフネットワークにこの手法を適用し、隠れユニットをベルヌーイ変数として扱い、後方期待値を平均と分散の伝播により近似する。
• 乗法的ベルヌーイノイズ下での期待出力をモデル化することで、推論時にモンテカルロサンプルを必要としない解析的ドロップアウトを実現する。
• ネットワーク重みに関して不確実性伝播が微分可能であることを保証することで、エンドツーエンド学習を可能にする。
• 反復的推論を回避するための因子分解された後方分布近似を用いて、ベルーフネットワークにおける不確実性を推定する。

実験結果

リサーチクエスチョン

• RQ1 フィードフォワード型不確実性伝播は、深層ネットワークにおける反復的ベイズ推論のスケーラブルな代替手段となり得るか？
• RQ2 平均と分散を伝播させることで、入力ノイズや敵対的摂動に対してモデルのロバストネスがどのように向上するか？
• RQ3 解析的不確実性伝播は、標準的なドロップアウトと比較して、ドロップアウト学習における一般化性能と性能を向上させ得るか？
• RQ4 不確実性伝播は、シグモイド活性化関数の確率的出力としての信頼性をどの程度向上させるか？
• RQ5 不確実性伝播は、深層ネットワークにおける正規化と初期化にどのように影響を与えるか？

主な発見

• 提案手法AP2は、入力ノイズ下でも標準的な平均のみ伝播する手法よりも、モンテカルロ出力分布の近似が優れている。
• CIFAR-10の実験では、AP2伝播を用いた解析的ドロップアウトが、標準ドロップアウトおよびベースライン学習よりも検証精度を向上させ、特にドロップ率が0.3の高めの設定で顕著であった。
• ガウスノイズと敵対的攻撃下でも著しく安定性が向上し、誤予測に対する過信が低減された。
• ノイズ下でAP2伝播を用いて学習したモデルは、予測確率と真のクラス確率のオッズ比が低く抑えられ、キャリブレーション性能が向上している。
• バッチ正規化は訓練損失を低下させるが、ノイズ下での安定性を低下させることが判明し、最適化とロバストネスのトレードオフを示唆している。
• 深さが増すと近似の品質が劣化する傾向にあり、キャリブレーション技術と組み合わせない限り、深層アーキテクチャへの適用には限界があると考えられる。