[論文レビュー] Bayesian Inference with Anchored Ensembles of Neural Networks, and Application to Exploration in Reinforcement Learning

Tim Pearce, Nicolas Anastassacos+2 more|arXiv (Cornell University)|May 29, 2018

Adversarial Robustness in Machine Learning参考文献 13被引用数 20

ひとこと要約

この論文では、個々のネットワークをゼロではなく初期重み toward 正則化する「アンカードアンサンブル」を提案する。これにより、解析的ベイズ推論が可能になる。無限幅・無限アンサンブル極限において、ガウス過程に収束し、トムソンサンプリングを用いた安定で不確実性駆動の強化学習探索を実現。ε-greedyに比べ、学習安定性とポリシー品質で優れる。

ABSTRACT

The use of ensembles of neural networks (NNs) for the quantification of predictive uncertainty is widespread. However, the current justification is intuitive rather than analytical. This work proposes one minor modification to the normal ensembling methodology, which we prove allows the ensemble to perform Bayesian inference, hence converging to the corresponding Gaussian Process as both the total number of NNs, and the size of each, tend to infinity. This working paper provides early-stage results in a reinforcement learning setting, analysing the practicality of the technique for an ensemble of small, finite number. Using the uncertainty estimates produced by anchored ensembles to govern the exploration-exploitation process results in steadier, more stable learning.

研究の動機と目的

• ニューラルネットワークアンサンブルの不確実性評価における解析的裏付けの欠如に対処すること。
• 訓練中にすべてのモデルが同一の予測に収束する「アンサンブルメンバーの崩壊」問題を解消すること。
• 完全な事後分布計算を伴わずに、ニューラルネットワークにおける実用的ベイズ推論を可能にすること。
• アンカードアンサンブルからの不確実性推定を用いて、強化学習における探索を改善すること。
• ベイズニューラルネットワークやモンテカルロ法の代替として、スケーラブルで低コストな手法を提供すること。

提案手法

• 各ニューラルネットワークのパラメータをゼロではなく初期値に向かって正則化し、事前情報の保持を図る。
• 各モデルを初期化にアンカーリングすることでアンサンブルの多様性を維持し、同一の解への収束を防ぐ。
• パラメータに多変量ガウス事前分布を仮定したもとで最尤法（MAP）推定を用い、解析的ベイズ推論を可能にする。
• ネットワーク幅とアンサンブルサイズが無限に近づく極限で、アンカードアンサンブルが対応するガウス過程に収束することを証明する。
• アンカードアンサンブルからの不確実性推定を用いて、強化学習におけるトムソンサンプリングを実装する。
• アンサンブル予測の分散を予測不確実性の指標として用い、探索を制御する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークのパラメータを初期値にアンカーリングすることで、アンサンブルにおける解析的ベイズ推論が可能になるか？
• RQ2 アンカーリングは訓練中におけるモデル多様性を維持し、アンサンブルの崩壊を防ぐか？
• RQ3 強化学習において、アンカードアンサンブルの性能は、標準アンサンブルや他のベイズ近似手法と比べてどうか？
• RQ4 アンカードアンサンブルからの不確実性推定は、強化学習におけるより安定的で効果的な探索を可能にするか？
• RQ5 アンカードアンサンブルは、どの程度速くその対応するガウス過程極限に収束するか？

主な発見

• アンカードアンサンブルは、無限幅および無限アンサンブルサイズの極限で、対応するガウス過程に収束する。これにより、ベイズ推論の理論的基盤が得られる。
• 多変量ガウス事前分布の仮定の下で、解析的ベイズ推論が可能であり、補足資料に形式的証明が提示されている。
• 強化学習において、アンカードアンサンブルからの不確実性を用いたトムソンサンプリングは、ε-greedyのシグモイド的形状とは対照的に、より安定した指数関数的減衰の学習曲線を示す。
• アンカードアンサンブル手法は、レアまたは非重要状態において高い不確実性（＝探索）を維持し、重要状態では活用を行うことで、より安全な探索を促進する。
• 学習安定性においてε-greーディーを上回り、エピソード800付近での急激な性能低下は観察されない。
• ノイズのないCartPole環境では、アンカードアンサンブルは標準アンサンブルに顕著な性能向上を示さなかった。これは、より複雑またはノイズの多い環境においてその利点が顕著になる可能性を示唆する。