[論文レビュー] Learning Structural Weight Uncertainty for Sequential Decision-Making

Ruiyi Zhang, Chunyuan Li+2 more|ArXiv.org|Dec 30, 2017

Advanced Bandit Algorithms Research参考文献 29被引用数 4

ひとこと要約

本稿では、スティーブン・バーチャル・グラデント・ディセント（S2VGD）を提案する。S2VGDは、スティーブン・バーチャル・グラデント・ディセント（SVGD）フレームワーク内での行列変量正規分布事前分布を用いて、構造的重み不確実性をモデル化することで、ベイジアンニューラルネットワーク推論を効率的に行う手法である。ハウスホルダー・フローを用いてMVG事前分布を再パラメータライズし次元を低減することで、S2VGDは正確で低コストの事後分布近似を可能にし、標準的なSVGDやベースラインと比較して、文脈的バンディットや強化学習などの逐次的意思決定タスクにおける探索性能を顕著に向上させる。

ABSTRACT

Learning probability distributions on the weights of neural networks (NNs) has recently proven beneficial in many applications. Bayesian methods, such as Stein variational gradient descent (SVGD), offer an elegant framework to reason about NN model uncertainty. However, by assuming independent Gaussian priors for the individual NN weights (as often applied), SVGD does not impose prior knowledge that there is often structural information (dependence) among weights. We propose efficient posterior learning of structural weight uncertainty, within an SVGD framework, by employing matrix variate Gaussian priors on NN parameters. We further investigate the learned structural uncertainty in sequential decision-making problems, including contextual bandits and reinforcement learning. Experiments on several synthetic and real datasets indicate the superiority of our model, compared with state-of-the-art methods.

研究の動機と目的

• ベイジアンニューラルネットワークにおける独立正規事前分布の限界を解消すること。これは、ニューラルネットワーク重み間の構造的依存関係を無視するためである。
• 高次元の行列変量正規事前分布に直接スティーブン・バーチャル・グラデント・ディセント（SVGD）を適用する際の計算非効率性を克服すること。
• ポリシー・ネットワークにおける構造的不確実性を学習することで、逐次的意思決定における探索性能を向上させること。
• ハウスホルダー・フローに基づく再パラメータライズを用いて、従来の構造的事前分布手法を統合的かつ拡張し、より効率的な事後分布推論を実現すること。

提案手法

• 行列変量正規分布（MVG）事前分布をハウスホルダー・フローに基づいて再パラメータライズし、高次元の重み行列を低次元の潜在空間に写像する。
• 低次元の潜在空間でスティーブン・バーチャル・グラデント・ディセント（SVGD）を適用し、ネットワーク重みの事後分布を効率的に近似する。
• 事後分布を表すために粒子の集合を用いることで、制限的な因子化されたガウス事後分布の仮定を回避する。
• MVG事前分布を用いて、重み間の行方向（ニューロンレベル）および列方向（フィルタ/特徴レベル）の依存関係を符号化し、構造的不確実性を捉える。
• SVGDが高次元の重み空間で計算コストが高くなるのを防ぐために、次元削減された空間で動作する再パラメータライズを導入する。
• 2段階の推論プロセスを採用する：まずハウスホルダー・フローを用いてMVG事前分布を再パラメータライズし、次に変換された空間でSVGDを適用して事後分布近似を行う。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク重み間の構造的依存関係をモデル化することで、ベイジアンニューラルネットワークにおける事後分布近似の正確性が向上するか？
• RQ2 ハウスホルダー・フロー再パラメータライズを用いた行列変量正規分布事前分布は、SVGDによるより効率的かつ正確な事後分布推論を可能にするか？
• RQ3 構造的重み不確実性は、文脈的バンディットや強化学習などの逐次的意思決定タスクにおける探索とパフォーマンスにどのように影響を与えるか？
• RQ4 S2VGDは、オンライン学習環境における探索と活用のバランスを取る点で、標準的なSVGDや他のベースラインを上回る性能を示すか？
• RQ5 粒子数が、逐次的意思決定問題における不確実性を考慮したポリシー学習のパフォーマンスに及ぼす影響はどの程度か？

主な発見

• S2VGDは文脈的バンディットタスクにおいて、SVG D や LinUCB を常に上回り、初日データにおける正規化された累積クリックスルーレート（CTR）が高くなる。
• 粒子数Mが増加するにつれて、S2VGDとSVG D 間の性能差が拡大する。これは、S2VGDがより大きな粒子集合を効果的に活用して不確実性推定を向上させていることを示している。
• 強化学習では、S2VGDはすべての3つのタスク（Cartpole、Cartpole Swing-Up、Double Pendulum）において、REINFORCEおよびA2Cベースラインの両方で、より速く収束し、より高い割合の累積報酬を達成する。
• K=4のS2VGDは、同程度のサイズのネットワークで学習されたSVG D* よりも優れたパフォーマンスを示し、単なるネットワークサイズではなく構造的不確実性の重要性を裏付けている。
• 結果から、構造的重み不確実性が探索を促進し、報酬形状の調整なしに不確実な環境におけるより良いポリシー学習を可能にすることが明らかになった。
• 実験的結果は、MVG事前分布による重み間の構造的関係のモデル化が、特にオンライン意思決定において、より表現力のある不確実性表現をもたらすことを確認している。