[論文レビュー] Function Space Particle Optimization for Bayesian Neural Networks

Ziyu Wang, Tongzheng Ren+2 more|arXiv (Cornell University)|Feb 26, 2019

Adversarial Robustness in Machine Learning被引用数 14

ひとこと要約

本稿では、重み空間ではなく回帰関数の空間で直接粒子最適化を行う、ベイジアンニューラルネットワーク向けの新しい変分推論手法である関数空間粒子最適化（f-SVGD）を提案する。過パラメータ化されたモデルにおける勾配混合や粒子の崩壊を回避することで、予測性能、敵対的ロバストネス、強化学習の分野で優れた性能を発揮し、複数のベンチマークで強力なベースラインを上回る。

ABSTRACT

While Bayesian neural networks (BNNs) have drawn increasing attention, their posterior inference remains challenging, due to the high-dimensional and over-parameterized nature. To address this issue, several highly flexible and scalable variational inference procedures based on the idea of particle optimization have been proposed. These methods directly optimize a set of particles to approximate the target posterior. However, their application to BNNs often yields sub-optimal performance, as such methods have a particular failure mode on over-parameterized models. In this paper, we propose to solve this issue by performing particle optimization directly in the space of regression functions. We demonstrate through extensive experiments that our method successfully overcomes this issue, and outperforms strong baselines in a variety of tasks including prediction, defense against adversarial examples, and reinforcement learning.

研究の動機と目的

• 過パラメータ化されたベイジアンニューラルネットワークにおける重み空間粒子最適化の失敗モード（粒子が単一モードに収束すること）を解消すること。
• 高次元かつマルチモーダルな重み空間事後分布における次元の呪いとモード崩壊を克服すること。
• 粒子が回帰関数を表すよう最適化空間を重み空間から関数空間に移行させることで、事後分布近似の質を向上させること。
• 粒子間で関数空間の誤差信号のみを交換することで、大規模モデル向けにスケーラブルかつ並列化可能な推論を可能にすること。
• 回帰、敵対的防御、強化学習を含む多様なタスクにおいて一貫した性能向上を実証すること。

提案手法

• 各粒子をニューラルネットワーク重みでパラメータ化された回帰関数として表現し、関数空間で粒子最適化を実行する。
• 重み間の距離ではなく関数的類似性に基づいて粒子間相互作用を計算する関数値カーネルを用いる。
• 粒子jの勾配を粒子iに適用する際に、f^j に関するθ^j におけるヤコビアンを用いることで、勾配混合を回避する粒子更新則を導出する。
• 大規模データセットおよびモデルへのスケーリングを実現するため、更新則のミニバッチ確率的近似を実装する。
• モデル並列化を活用：粒子間で通信するのは関数空間の誤差信号のみであり、通信オーバーヘッドを低減する。
• 再パラメータライゼーションテクニックを用いて、カーネル関数の粒子重みに関する勾配を計算し、効率的な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 関数空間における粒子最適化は、過パラメータ化されたBNNにおける重み空間粒子手法で見られるモード崩壊と勾配混合の問題を緩和できるか？
• RQ2 関数空間での最適化は、重み空間手法と比較してより優れた一般化性能と不確実性のキャリブレーションを達成できるか？
• RQ3 回帰、敵対的ロバストネス、強化学習といった下流タスクにおいて、f-SVGDは強力なベースラインと比較してどの程度の性能を示すか？
• RQ4 関数空間カーネル設計は、BNNにおける収束性と近似品質にどのような影響を与えるか？
• RQ5 最小限の通信オーバーヘッドで、モデル並列化を用いてf-SVGDを効率的にスケーリングできるか？

主な発見

• f-SVGDは、過パラメータ化モデルにおける粒子崩壊問題を効果的に回避した。
• 回帰タスクでは、SVG Dや他のベースラインと比較して、より低いテスト誤差と優れた不確実性キャリブレーションを達成した。
• 敵対的防御の分野では、MNISTおよびCIFAR-10で標準的なBNNやSVG Dを上回る顕著なロバスト正答率を示した。
• 深層強化学習では、MuJoCo環境においてベースライン手法と比較して、より優れた探索性能と高い累積報酬を達成した。
• スケーリング効率が高く、1つのGPUに数百個の粒子を収容可能であり、関数空間信号交換のおかげで通信オーバーヘッドは低く保たれた。
• アブレーションスタディにより、重み空間手法における勾配混合が失敗の主な要因であることが確認され、f-SVGDの設計がこの問題を効果的に解消していることが示された。