[論文レビュー] Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables

Qi Wang, Herke van Hoof|arXiv (Cornell University)|Aug 21, 2020

Neural Networks and Applications被引用数 9

ひとこと要約

本稿では、予測不確実性と表現力の向上を図るために、グローバルおよびターゲット固有のローカル潜在変数を組み込んだ階層的潜在変数モデルであるDoubly Stochastic Variational Neural Processes (DSVNP)を提案する。この手法は、多出力回帰および不確実性を考慮した画像分類において、AttnNPなどの決定的ベースラインを上回る最先端の性能を達成し、OOD検出およびロバストネスにおいて優れた性能を示す。

ABSTRACT

Neural processes (NPs) constitute a family of variational approximate models for stochastic processes with promising properties in computational efficiency and uncertainty quantification. These processes use neural networks with latent variable inputs to induce predictive distributions. However, the expressiveness of vanilla NPs is limited as they only use a global latent variable, while target specific local variation may be crucial sometimes. To address this challenge, we investigate NPs systematically and present a new variant of NP model that we call Doubly Stochastic Variational Neural Process (DSVNP). This model combines the global latent variable and local latent variables for prediction. We evaluate this model in several experiments, and our results demonstrate competitive prediction performance in multi-output regression and uncertainty estimation in classification.

研究の動機と目的

• グローバル潜在変数のみに依存する通常のニューラルプロセスの表現力の制限を是正すること。これは、ターゲット固有の変動を捉えられていないためである。
• エピステミック不確実性とアレアトリック不確実性の両方をモデル化できる、より柔軟な変分推論フレームワークを構築すること。
• 高次元回帰および分類タスクにおける予測性能と不確実性推定を向上させること。
• 階層的潜在変数がニューラルプロセスモデルの表現力をどのように向上させるかを体系的に分析すること。
• 分布外検出およびロバストネスにおいて、確率的ローカル潜在変数が決定的ものよりも優れていることを実証すること。

提案手法

• グローバル潜在変数とターゲット固有のローカル潜在変数を組み合わせた階層的潜在変数モデルを採用するDoubly Stochastic Variational Neural Process (DSVNP)を提案する。
• グローバルおよびローカル潜在変数の両方の微分可能な学習を可能にするために、確率的再パrameterizationを用いた変分推論フレームワークを採用する。
• 出力がコンテキスト入力およびグローバル・ローカル潜在変数の両方の関数としてモデル化される共同生成プロセスを導入し、柔軟な予測分布を実現する。
• 各予測に対して独立にサンプリングするための確率的エンコーダを採用し、コンテキスト点を用いてグローバルおよびローカル潜在変数の事後分布を推論する。
• 推論ネットワークにおけるアテンション機構を活用し、コンテキスト点に注目することでローカル潜在変数の表現を向上させる。
• 変分下界（ELBO）の最適化に二重確率的勾配推定器を適用し、ミニバッチサンプリングによるスケーラブルな学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グローバルおよびローカル潜在変数の統合が、高次元回帰タスクにおけるニューラルプロセスの予測性能を顕著に向上させるか？
• RQ2 不確実性評価および分布外（OOD）検出という観点から、確率的ローカル潜在変数は決定的ものと比べてどのように優れているか？
• RQ3 DSVNPにおける階層的潜在構造は、敵対的ノイズ下での分類タスクにおいて、より優れた一般化性能とロバストネスをもたらすか？
• RQ4 不確実性を考慮した予測において、本手法はAttnNP や通常のNPの既存の変種をどの程度上回るか？
• RQ5 二重確率的変分推論の使用が、複雑な関数近似における学習安定性および収束性にどのように影響するか？

主な発見

• DSVNPは多出力回帰において競争力のある性能を達成し、予測精度および不確実性のキャリブレーションにおいて、通常のNPおよびAttnNPを上回っている。
• 特に敵対的ノイズ下において、分布外（OOD）検出能力が顕著に優れており、決定的であるAttnNPを大きく上回っている。
• Rademacherデータセットにおけるエントロピー分布の分析から、DSVNPは敵対的摂動に対しても意味のある不確実性推定を維持していることが示された。
• 確率的ローカル潜在変数の導入により、不確実性推定および一般化性能が向上し、コンテキスト符号化にドット積アテンションのみを用いた場合でも同様の効果が得られた。
• 実験により、AttnNPにおける決定的ローカル潜在変数はドメインデータセットでは性能向上をもたらさず、OOD検出性能を弱めることが確認され、確率的性の利点が明確になった。
• 二重確率的変分推論フレームワークにより、計算量O((M+N)N)の複雑さでスケーラブルな学習が可能となり、高次元予測タスクへの適用が現実的になった。