[論文レビュー] Graphical Models for Discrete and Continuous Data

Rui Zhuang, Noah Simon+1 more|arXiv (Cornell University)|Sep 18, 2016

Neural Networks and Applications参考文献 25被引用数 8

ひとこと要約

本稿では、離散的・連続的・混合データ型を統合的に取り扱えるように一般化されたガウス graphical モデルの枠組みである指数的トレースモデルを導入する。トレース内積を用いた再パrameter化と、サンプリングに基づく近似を用いた最尤推定により、一貫性のある推論が可能となり、スパイクカウントデータにおける生物学的に妥当な神経結合パターンを明らかにする。ガウスモデルに比べ、神経結合の空間的クラスタリングをよりよく捉えられる。

ABSTRACT

We introduce a general framework for undirected graphical models. It generalizes Gaussian graphical models to a wide range of continuous, discrete, and combinations of different types of data. The models in the framework, called exponential trace models, are amenable to estimation based on maximum likelihood. We introduce a sampling-based approximation algorithm for computing the maximum likelihood estimator, and we apply this pipeline to learn simultaneous neural activities from spike data.

研究の動機と目的

• 既存のガウスモデルやペアワイズ相互作用モデルを超えて、離散的・連続的・混合データ型を統合的に取り扱える一般化された undirected graphical モデルの枠組みを構築すること。
• 提案された枠組みにおける最尤推定が凸的かつ一貫性を持つことを示すことにより理論的厳密性を保証すること。
• 高次元設定においても実用的な最尤推定を可能にする、サンプリングに基づく近似を用いたスケーラブルな計算パイプラインを提供すること。
• 神経スパイクデータという実世界のデータにおいて、モデルの有効性を示すこと。特に、空間的に局在化した結合パターンを生物学的妥当性に合致して回復できることを示す。

提案手法

• 密度関数を $ f_{\mathbf{M}}(\mathbf{x}) = \exp\left( -\langle \mathbf{M}, T(\mathbf{x}) \rangle_{\text{tr}} + \xi(\mathbf{x}) - \gamma(\mathbf{M}) \right) $ と表現することで、ガウス graphical モデルを一般化し、$ T(\mathbf{x}) $ を行列値の十分統計量、$ \mathbf{M} $ を自然パラメータとする。
• トレース内積を用いることで、パラメータと十分統計量の間の対称性を確保し、多様なデータ型を統一的に取り扱えるようにする。
• 非ガウス設定における正規化定数の計算が困難な場合に備え、最尤推定をサンプリングに基づく近似アルゴリズムで実行する。
• モデルは $ q \neq p $ を許容するため、異なるデータ型を含む混合 graphical モデルのコンact表現が可能である。
• 神経スパイクデータの応用では、スパイクカウントのポisson分布に近づけるために、平方根変換を適用し、低カウントデータへの適合性を向上させる。
• グラフのスパarsityは、最尤推定値を30本のエッジにしきい値処理することで実現し、解釈可能なネットワーク回復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 同一の graphical モデル枠組みが、理論的厳密性を保ちつつ、離散的・連続的・混合データ型を一貫して取り扱えるか。
• RQ2 提案された枠組みにおける最尤推定が、多様なデータ型にわたって一貫的かつ効率的なパラメータ推定をもたらすか。
• RQ3 正規化定数が計算不能な場合に、サンプリングに基づく近似アルゴリズムが最尤推定値を信頼性高く計算できるか。
• RQ4 指数的トレースモデルは、ガウス graphical モデルに比べ、スパイクカウントデータから生物学的に意味のある神経結合パターンをどれほどよく回復できるか。

主な発見

• 指数的トレースモデルは、ガウス graphical モデルよりも空間的に集中した神経ネットワーク構造を回復し、平均エッジ長が169 μm（SE: 24 μm）である一方、ガウスモデルは252 μm（SE: 36 μm）であった。
• モデルは主要な連結成分と、物理的に離れた1つの孤立したニューロンユニットを特定しており、これは別個の機能的グループに属する可能性が高く、ガウスモデルでは明確に捉えられていない特徴である。
• 平方根変換を施した指数的トレースモデルは、ポisson分布に近いスパイクカウントをよく近似しており、低カウント神経データへの適正性が裏付けられた。
• モデルが推定するグラフ構造は、生物学的証拠と整合しており、シナプス結合が近接するニューロン同士に偏る傾向があることが示されており、網膜ネットワークにおけるスパイク同時発火確率が距離とともに減少する傾向と一致する。
• 正規化定数が計算不能な状況下でも、サンプリングに基づく近似アルゴリズムが最尤推定値を的確に計算でき、実際の神経データへの応用が可能であることが示された。