[論文レビュー] Latent Projection BNNs: Avoiding weight-space pathologies by learning latent representations of neural network weights.

Melanie F. Pradier, Weiwei Pan+3 more|arXiv (Cornell University)|Nov 16, 2018

Adversarial Robustness in Machine Learning参考文献 40被引用数 10

ひとこと要約

この論文は、高次元のニューラルネットワーク重みを低次元の潜在空間にマッピングすることで、不確実性の定量化を簡素化し、一般化性能を向上させる変分推論フレームワークであるLatent Projection BNNsを提案する。このコンactな潜在空間で推論を行うことで、重み空間における病理的要因を回避し、多様なデータセットにおいて優れた不確実性キャリブレーションと性能を達成する。

ABSTRACT

As machine learning systems get widely adopted for high-stake decisions, quantifying uncertainty over predictions becomes crucial. While modern neural networks are making remarkable gains in terms of predictive accuracy, characterizing uncertainty over the parameters of these models is challenging because of the high dimensionality and complex correlations of the network parameter space. This paper introduces a novel variational inference framework for Bayesian neural networks that (1) encodes complex distributions in high-dimensional parameter space with representations in a low-dimensional latent space, and (2) performs inference efficiently on the low-dimensional representations. Across a large array of synthetic and real-world datasets, we show that our method improves uncertainty characterization and model generalization when compared with methods that work directly in the parameter space.

研究の動機と目的

• ベイジアンニューラルネットワークにおける複雑で高次元のパrameter分布をモデル化する課題に対処すること。
• 高次元の重み空間における直接推論によって生じる計算的・統計的病理的要因を低減すること。
• ネットワーク重みの低次元潜在表現を通じて、不確実性の特徴付けとモデルの一般化性能を向上させること。
• 現実世界および合成データセットにスケーリング可能な、効率的な変分推論フレームワークの開発。

提案手法

• 本手法は、低次元の潜在変数をニューラルネットワークの高次元重み空間にマッピングする深層生成モデルを導入する。
• 推論ネットワーク（ニューラルネットワークベース）を用いて、潜在空間における変分分布を通じて重みの真の事後分布を近似する。
• トレーニング中に潜在空間を最適化し、次元削減を伴いながら重み分布の本質的構造を捉える。
• 高次元の重み空間最適化の計算負荷と不安定性を回避するため、低次元の潜在空間で効率的に推論が行われる。
• 再パラメータ化勾配を用いた確率的勾配変分推論により、エンドツーエンドのトレーニングが可能になる。
• 重み相関のより良いモデリングを通じて、予測性能を維持しながら不確実性キャリブレーションを向上させる。

実験結果

リサーチクエスチョン

• RQ1 低次元潜在表現は、ベイジアンニューラルネットワークにおける複雑で高次元の重み分布を効果的にモデル化できるか？
• RQ2 潜在空間で変分推論を行うことで、重み空間への直接推論と比較して病理的要因が軽減され、不確実性の定量化が向上するか？
• RQ3 本手法は、多様な現実世界および合成データセットにおいて、予測精度と不確実性キャリブレーションの観点でどの程度の性能を示すか？
• RQ4 潜在空間は、高次元の重み相関から意味のある構造をどの程度解体できるか？

主な発見

• 提案手法は、重み空間で直接作業するベースライン手法と比較して、複数の現実世界および合成データセットにおいて不確実性キャリブレーションが向上している。
• 特にデータが少ない状況においても、より安定的で構造的な事後分布近似が可能であるため、一般化性能が向上している。
• 低次元空間で作業することで計算オーバーヘッドを低減しながらも、予測精度を維持している。
• 潜在空間は重み分布の意味のある構造を捉えており、より効率的かつ正確な推論を可能にしている。
• 実験結果から、多様なベンチマークタスクにおいて不確実性の特徴付けとモデルのロバスト性の両面で一貫した改善が得られている。