[論文レビュー] Importance Weighted Adversarial Variational Autoencoders for Spike Inference from Calcium Imaging Data

Daniel Jiwoong Im, Sridhama Prakhya+3 more|arXiv (Cornell University)|Jun 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 4

ひとこと要約

本稿では、潜在変数モデルにおける事後分布の近似を改善するために、敵対的学習と重要度重み付けを組み合わせた Importance Weighted Adversarial Variational Bayes (IW-AVB) および Importance Weighted Adversarial Autoencoders (IW-AAE) を提案する。この手法により、離散的なバイナリスパイクトレインの相関のある事後分布を高速かつ並列にサンプリング可能となり、カルシウムイメージングデータからのスパイク推定において、因子化された VAE の事後分布を著しく上回る性能を発揮しながらも、高い速度を維持する。

ABSTRACT

The Importance Weighted Auto Encoder (IWAE) objective has been shown to improve the training of generative models over the standard Variational Auto Encoder (VAE) objective. Here, we derive importance weighted extensions to AVB and AAE. These latent variable models use implicitly defined inference networks whose approximate posterior density q_ϕ(z|x) cannot be directly evaluated, an essential ingredient for importance weighting. We show improved training and inference in latent variable models with our adversarially trained importance weighting method, and derive new theoretical connections between adversarial generative model training criteria and marginal likelihood based methods. We apply these methods to the important problem of inferring spiking neural activity from calcium imaging data, a challenging posterior inference problem in neuroscience, and show that posterior samples from the adversarial methods outperform factorized posteriors used in VAEs.

研究の動機と目的

• 神経活動推定における離散的バイナリスパイクトレインの正確で相関のある事後分布を学習するという課題に対処すること。
• 事後密度が暗黙的に定義され、評価が困難なモデル（AVB や AAE）に対して、重要度重み付けを拡張すること。
• 敵対的学習と重要度重み付けを組み合わせることで、カルシウムイメージングからのスパイク推定における事後分布推定の質を向上させること。
• 自己回帰モデルの逐次的サンプリングのボトルネックを克服し、相関のあるスパイク事後分布を高速かつ並列にサンプリング可能にする。
• 敵対的目的と周辺尤度基準との間の理論的関係を明らかにすること。

提案手法

• AVB や AAE のような事後分布が暗黙的に定義されるモデルに、重要度重み付きオートエンコーダー（IWAE）の目的関数を拡張した IW-AVB および IW-AAE を提案する。
• 事後密度の明示的評価を必要とせずに、ノイズから事後分布のサンプルを生成する推論ネットワークを敵対的学習で学習する。
• 尤度の対数下界をタイトにするために、学習中に複数の重要度重み付きサンプルを用いる。これにより、モデルの証拠推定が向上する。
• スパイクトレインを蛍光トレースにマッピングする生体物理学的生成モデルと、畳み込みニューラルネットワークを推論ネットワークとして用い、スパイク推定にモデルを適用する。
• 生成モデルの事前分布と事後分布を識別器ネットワークを介して一致させる敵対的目的関数を用いてモデルを訓練する。
• 非アモアタイズドおよびアモアタイズド推論設定を用いて、神経細胞全体にわたる性能と一般化能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 事後分布が暗黙的に定義される敵対的変分オートエンコーダー（AVB や AAE）に対して、重要度重み付けを効果的に適用できるか。
• RQ2 重要度重み付けを施した敵対的学習による推論ネットワークは、因子化された VAE の事後分布よりも、スパイク推定においてより優れた事後分布近似を達成できるか。
• RQ3 敵対的学習により、正確でかつ並列に効率的にサンプリング可能な離散的スパイクトレインの相関のある事後分布サンプルが生成可能か。
• RQ4 IW-AAE および IW-AVB の目的関数と周辺尤度または最適輸送基準との間の理論的関係は何か。
• RQ5 提案手法はアモアタイズド推論において神経細胞全体に一般化可能か。また、自己回帰的ベースラインと比較して、速度と精度の面で優れているか。

主な発見

• IW-AVB、AAE、IW-AAE は、VIMCO-FACT（因子化）と VIMCO-CORR（自己回帰）の中間の事後分布推定性能を達成するが、著しく高速な推論を実現する。
• 敵対的に訓練された推論ネットワークは、真のスパイクとの相関度を測定した際、因子化された VAE の事後分布を上回る精度の高い相関のある事後分布サンプルを生成する。
• VIMCO-CORR が逐次的サンプリングを必要とするのに対し、提案手法は並列に相関のあるスパイクトレインをサンプリング可能であるため、顕著な速度優位性を発揮する。
• アモアタイズド推論においても、IW-AVB、AAE、IW-AAE は非アモアタイズドのベースラインでさえも上回る性能を示し、神経細胞全体にわたる一般化能力が強いことを示す。
• 理論的分析により、敵対的目的と尤度の対数との関係が明確になり、AAE と Wasserstein オートエンコーダーの目的関数との関係が解明された。
• 実験的結果から、IW-AVB および IW-AAE は VIMCO-FACT よりも誤検出（偽陰性）が少なく、VIMCO-CORR よりも誤検出（偽陽性）が少ないことが示され、検出のバランスが向上していることがわかる。