[論文レビュー] Approximating exponential family models (not single distributions) with a two-network architecture

Sean R. Bittner, John P. Cunningham|arXiv (Cornell University)|Mar 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 5

ひとこと要約

本稿では、自然パラメータをニューラルネットワークでパrameter化することにより、1つの分布ではなく、非定型の指数型分布族全体を近似する2ネットワーク構造の深層生成モデルである指数型ネットワーク（EFN）を提案する。この手法により、直接的な照会によって即座に事後分布推論が可能となり、多数のデータセットに対して事後分布を推論する際、従来の変分推論と比較して顕著な計算コストの削減が達成される。

ABSTRACT

Recently much attention has been paid to deep generative models, since they have been used to great success for variational inference, generation of complex data types, and more. In most all of these settings, the goal has been to find a particular member of that model family: optimized parameters index a distribution that is close (via a divergence or classification metric) to a target distribution. Much less attention, however, has been paid to the problem of learning a model itself. Here we introduce a two-network architecture and optimization procedure for learning intractable exponential family models (not a single distribution from those models). These exponential families are learned accurately, allowing operations like posterior inference to be executed directly and generically with an input choice of natural parameters, rather than performing inference via optimization for each particular distribution within that model.

研究の動機と目的

• 既存の深層生成モデルがモデル族の1つの分布しか学習しないという制限に対処すること。
• 非定型の指数型分布族モデルの制限付きで扱いやすい近似を学習する手法を開発し、ドメイン固有の構造を保持すること。
• 自然パラメータを入力として与えることで、1つのモデルを訓練するだけで複数のデータセットにわたるアンモタイズド事後分布推論を可能にすること。
• 神経パルストレイン解析などの実世界の応用において、繰り返し推論が必要な状況で計算上の利点を示すこと。

提案手法

• EFNアーキテクチャは2つの深層ニューラルネットワークを用いる：自然パラメータをモデルパラメータにマップするパラメータネットワークと、得られた分布からのサンプルを生成する密度ネットワーク。
• 学習は、学習モデルとターゲットの指数型分布族との間のKullback-Leibler発散の変種を確率的最適化により行う。
• パラメータネットワークにより、モデルのパラメータ空間がターゲットの指数型分布族の自然パrameter化と整合するよう保証され、正しい次元と構造が維持される。
• 多くの真の事後分布が指数型分布族であるという事実を活用し、汎用的な事後分布近似を学習することで、複数のデータセットにわたる一般化が可能になる。
• このアプローチにより、データセットごとにではなく、モデルごとに「アンモタイズド」推論が可能となり、学習後は1回の順伝播で推論が実行される。
• フレームワークは、ログガウスチアンポisson過程の事後分布族を学習する神経パルストレインデータに対して検証された。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、1つのメンバーではなく、指数型分布族全体を近似できるか？
• RQ2 2ネットワークアーキテクチャを用いて制限付きモデルクラスを学習することで、正規化フローを用いた標準的な変分推論に比べ、より優れた事後分布近似が得られるか？
• RQ3 自然パラメータを入力として与えることで、EFNアーキテクチャは、新しいデータセットに対して即座に事後分布推論を可能にするか？
• RQ4 EFNを1回学習するのと、各データセットに対して独立に変分推論を実行するのとの間で、計算上のトレードオフは何か？
• RQ5 制限付きで構造的なモデル空間を学習することで、標準的な正規化フローに比べてELBOの値が高くなることがあるか？

主な発見

• 神経パルストレインデータにおける視覚的・定量的比較により、EFNは正規化フローと同等の品質の事後分布近似を達成している。
• 与えられたELBOの目標に対して、データセット数が意思決定境界を超えると、EFNは標準的な変分推論よりも計算的により効率的となり、以降の追加データセットごとに無限の計算コスト削減が達成される。
• 一部のケースでは、正規化フローに比べてEFNがより高い平均ELBOを達成しており、制限付きで構造的なモデル空間を学習することの利点が示された。
• 正規化フローを学習するのと比較して、EFNの学習にはより長い時間がかかるが、その時間は将来のすべての推論タスクに均等に配分されるため、スケーリングされた環境では非常に効率的である。
• この手法により、1回の順伝播で即座に事後分布推論が可能（最適化は不要）となり、学習後の推論時間が著しく短縮される。
• このアプローチは神経科学を越えて汎用的であり、非定型の指数型分布族事後分布を含むあらゆる応用分野で、事前に学習されたEFNを用いた高速な事後分布推論が可能になる。