[論文レビュー] Probabilistic Meta-Representations Of Neural Networks

Theofanis Karaletsos, Peter Dayan+1 more|arXiv (Cornell University)|Oct 1, 2018

Neural Networks and Applications被引用数 14

ひとこと要約

本論文は、ニューラルネットワークのための確率的メタ表現を提案する。ここでユニットは共有された潜在空間に埋め込まれ、重みはハイパーネットワークを介してそれらの埋め込みから条件付きに生成される。このアプローチにより、構造的な重み相関が実現され、ベイジアンの複雑さ正則化として機能し、分布シフト下でも一般化性能が向上する。タスク固有のアーキテクチャ変更なしに適応的性能を示す。

ABSTRACT

Existing Bayesian treatments of neural networks are typically characterized by weak prior and approximate posterior distributions according to which all the weights are drawn independently. Here, we consider a richer prior distribution in which units in the network are represented by latent variables, and the weights between units are drawn conditionally on the values of the collection of those variables. This allows rich correlations between related weights, and can be seen as realizing a function prior with a Bayesian complexity regularizer ensuring simple solutions. We illustrate the resulting meta-representations and representations, elucidating the power of this prior.

研究の動機と目的

• ベイジアンニューラルネットワークにおける独立重み事前分布の限界を克服すること。これは、重み間の意味のある相関関係を捉えられていないためである。
• ネットワークユニットの潜在埋め込みを通じて、重み分布に豊かな構造的パターンを誘導する階層的確率的モデルを開発すること。
• メタ表現的、機能的、観測の3レベルにおける不確実性モデリングを可能にすること。
• オンラインで構造的な重み操作と分布シフト下での一般化をサポートする、柔軟で自己完結的なベイジアンニューラルネットワーク事前分布を作成すること。
• メタラーニング、ガウス過程、およびプログラム誘導の概念を統合し、重み事前分布設計のための一貫性がありスケーラブルなフレームワークを構築すること。

提案手法

• ニューラルネットワークのユニットに、共有され構造的な潜在空間から抽出された潜在変数（メタ表現）が割り当てられる。
• 重みとバイアスは、これらの潜在変数からハイパーネットワークを用いて条件付きに生成され、構造的・相関的な重み分布が実現される。
• モデルは階層的事前分布を採用しており、重みの同時分布が潜在埋め込みを通じて因数分解され、複雑な関数空間正則化が可能になる。
• 変分推論フレームワークを用いて事後分布を近似し、エビデンス下限界（ELBO）を最適化することでモデルを学習する。
• ハイパーネットワークは、ユニット埋め込みを完全な重み行列にマップする生成モデルとして機能し、ネットワークパラメータのコン pact かつ分散型表現を可能にする。
• このアプローチは、畳み込みニューラルネットワーク（CNNs）におけるトポグラフィカルな重み共有を一般化し、メタ表現空間に幾何的でない、学習された構造を許容する。

実験結果

リサーチクエスチョン

• RQ1 独立重み事前分布と比較して、ニューラルネットワーク重みに構造的・階層的な事前分布を導入することで、一般化性能と不確実性のキャリブレーションが向上するか？
• RQ2 ネットワークユニットの潜在埋め込みをどのように活用して、相関的で機能的に意味のある重み分布を生成できるか？
• RQ3 このメタ表現が、分布シフトや分布外一般化への適応にどの程度寄与できるか？
• RQ4 このフレームワークが、メタ表現、関数、観測の3レベルにおける不確実性定量化をサポートできるか？
• RQ5 性能とインダクティブバイアスの観点から、アンサンブル法や標準的なベイジアンニューラルネットワークと比較して、このアプローチはどのように差をつけるか？

主な発見

• 提案されたメタ表現は、隠れユニットの入力および出力重みに複雑で構造的な相関関係を誘導するが、これは標準的な独立事前分布では捉えられない。
• モデルは、例えば入れ替えられたMNISTベンチマークにおいて、新しいデータ分布に合わせてユニット埋め込みを再調整することで、分布シフト下でも一般化性能が向上することを示した。
• 階層的構造により、関数空間における有効な複雑さ制御が可能となり、より単純で構造的な解を好むベイジアン正則化として機能する。
• ハイパーネットワークベースの重み生成により、ネットワークパラメータのコンパクトで分散型表現が可能となり、重み空間の有効次元数が低減される。
• モデルは多段階の不確実性定量化をサポートし、メタ表現、関数、観測の不確実性を区別できる。
• このアプローチは、プログラムのような解釈を可能にし、ハイパーネットワークがユニット埋め込みを関数的ネットワーク動作に翻訳するインタプリタとして機能する。