[論文レビュー] Interpretable VAEs for nonlinear group factor analysis

Samuel Ainsworth, Nicholas J. Foti+2 more|arXiv (Cornell University)|Feb 17, 2018

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 9

ひとこと要約

本稿では、潜在変数から観測変数へのマッピングにスパarsity誘導事前分布を導入することで、非線形的かつグループ構造を持つ高次元データの関係をモデル化する出力解釈可能なVAE（oi-VAE）を提案する。この手法により、神経科学的に意味のある脳ネットワークの解釈可能な同定が可能となり、低データ環境下でも一般化性能が向上する。HCP-MMP1パラセレーショングループを用いたモーショングラブデータおよびMEGデータで実証された。

ABSTRACT

Deep generative models have recently yielded encouraging results in producing subjectively realistic samples of complex data. Far less attention has been paid to making these generative models interpretable. In many scenarios, ranging from scientific applications to finance, the observed variables have a natural grouping. It is often of interest to understand systems of interaction amongst these groups, and latent factor models (LFMs) are an attractive approach. However, traditional LFMs are limited by assuming a linear correlation structure. We present an output interpretable VAE (oi-VAE) for grouped data that models complex, nonlinear latent-to-observed relationships. We combine a structured VAE comprised of group-specific generators with a sparsity-inducing prior. We demonstrate that oi-VAE yields meaningful notions of interpretability in the analysis of motion capture and MEG data. We further show that in these situations, the regularization inherent to oi-VAE can actually lead to improved generalization and learned generative processes.

研究の動機と目的

• 神経画像やモーショングラブデータなどのグループ化された高次元データに対して、深層生成モデルの解釈可能性の欠如に対処すること。
• 潜在要因とグループ化された観測変数の間の複雑な非線形相互作用をモデル化しつつ、解釈可能性を維持すること。
• スパarsity誘導事前分布に内在する正則化により、低データ環境下での一般化性能を向上させること。
• 脳ネットワークなどの生理学的に意味のある相互作用システム（例：脳ネットワーク）を、構造化されたデータから同定可能にすること。
• アンモトライズド推論と畳み込み変分オブジェクティブを活用することで、大規模データセットへの深層生成モデリングのスケーリングを実現すること。

提案手法

• 共有潜在変数からグループ化された観測値への非線形マッピングをグループ固有のジェネレータネットワークを用いてモデル化する構造的VAEを定式化する。
• 各潜在次元が少数のグループにのみ影響を与えるよう促す階層的スパarsity誘導事前分布を適用する。
• 訓練効率の向上とスパースな潜在変数〜グループ間相互作用の学習を可能にするために、畳み込み変分推論オブジェクティブを用いる。
• 観測値を直接潜在事後分布にマップする推論ネットワークを用いたアンモトライズド推論を採用する。
• グループ重み行列におけるスパarsityを強制するための近接更新則を導入し、解釈可能で分離された潜在成分を実現する。
• 確率的勾配降下法とモンテカルロ変分推論を活用することで、スパースな潜在変数〜グループ間相互作用の学習を大規模データセットにスケーリングする。

実験結果

リサーチクエスチョン

• RQ1 構造的でグループ固有のジェネレータを持つ深層生成モデルは、グループ化されたデータにおける非線形的関係の解釈可能な表現を生成できるか？
• RQ2 潜在変数〜観測変数マッピングにおけるスパarsityの強制は、既知の脳ネットワークのような生理学的に意味のあるグループ間相互作用をもたらすか？
• RQ3 スパarsityに起因する正則化は、特に低データまたは高次元環境下で一般化性能の向上に寄与するか？
• RQ4 畳み込み変分オブジェクティブと近接更新は、標準VAEと比較して、訓練効率とスパarsity学習をどのように向上させるか？
• RQ5 oi-VAEは、MEGデータから、背側注意ネットワークやデフォルトモードネットワークといった既知の機能的脳ネットワークをどの程度同定できるか？

主な発見

• 学習された潜在空間の成分6は、下頭頂溝および右頭頂接合部を含む背側注意ネットワークに対応しており、神経科学的文献による妥当性が確認された。
• 成分15は、内側前頭前野および後部cingulate皮質を特に含むデフォルトモードネットワークと一致しており、神経生理学的妥当性が裏付けられた。
• スパarsity誘導事前分布に起因する正則化のおかげで、特に低データ環境下において、一般化性能と生成性能が向上した。
• グループ固有の重み行列のL2ノルムから、各潜在成分が脳領域のスパースなサブセットにのみ影響していることが示され、有効な分離が達成された。
• 単一被験者から得た約41,000件のMEG観測データに対して、本手法は大規模神経画像データセットへの適用可能性を示した。
• 近接更新戦略により、潜在変数〜グループ間マッピングにおける本物のスパarsityが成功裏に誘導され、特定の脳領域への特徴寄与度の解釈が可能になった。