[論文レビュー] Neural Clustering Processes

Ari Pakman, Yueqi Wang+3 more|arXiv (Cornell University)|Dec 28, 2018

Neural Networks and Applications参考文献 86被引用数 6

ひとこと要約

この論文は、混合モデルにおける離散的 latent 変数の高速かつアモアタイズド事後分布推論を可能にする深層学習フレームワーク、Neural Clustering Processes (NCP) を提案する。生成モデルからのラベル付きデータでニューラルネットワークを訓練することで、NCP は新しいデータセットに対して O(N) または O(K) の前方伝搬回数でクラスタ割り当ての近似事後サンプルを生成する。非パrametric Bayesian モデルをサポートし、スパイクソーティングやパーティクルトラッキングの応用において、MCMC や変分推論法を上回る速度と精度を達成する。

ABSTRACT

Probabilistic clustering models (or equivalently, mixture models) are basic building blocks in countless statistical models and involve latent random variables over discrete spaces. For these models, posterior inference methods can be inaccurate and/or very slow. In this work we introduce deep network architectures trained with labeled samples from any generative model of clustered datasets. At test time, the networks generate approximate posterior samples of cluster labels for any new dataset of arbitrary size. We develop two complementary approaches to this task, requiring either O(N) or O(K) network forward passes per dataset, where N is the dataset size and K the number of clusters. Unlike previous approaches, our methods sample the labels of all the data points from a well-defined posterior, and can learn nonparametric Bayesian posteriors since they do not limit the number of mixture components. As a scientific application, we present a novel approach to neural spike sorting for high-density multielectrode arrays.

研究の動機と目的

• 確率的クラスタリングモデルにおける離散的 latent 変数のスケーラブルでアモアタイズド推論手法の開発。
• 収束が遅い MCMC の欠点を回避し、明確な不確実性を伴う任意サイズのデータセットに対する事後分布サンプリングの実現。
• 事前にクラスタ数を固定しない、ディリクレ過程混合モデルのような非パラメトリックベイジアンモデルのサポート。
• 神経スパイクソーティングやパーティクルトラッキングといった実世界の科学的問題への応用。
• 逐次的な MCMC 手法とは異なり、並列化可能な前方伝搬により高速推論を達成。

提案手法

• 混合事後分布の2つの補完的展開を用いる：1つは十分統計量に基づき、もう1つはクラスタ割り当て上の条件付き要因の積に基づく。
• 置換に不変な分散表現を用いて、離散的クラスタラベルの対称性を尊重するように、ニューラルネットワークが条件付き要因をパrameter化する。
• ネットワークアーキテクチャは、クラスタ統計量と割り当て確率を計算するための学習可能な関数 h(x)、u(x)、g(H)、および f(G,U) を採用する。
• 粒子トラッキングでは、時間減衰機構を用いて過去および未来の観測を重み付けし、動的クラスタ追跡を可能にする。
• 訓練は、生成モデルからのラベル付きデータを用いて、Adam を用いた確率的勾配降下法で実施され、ネットワークパラメータが最適化される。
• テスト時の推論には、1データセットあたり O(N) または O(K) の前方伝搬回数のみが必要であり、クラスタラベルの高速かつ並列サンプリングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、混合モデルにおける離散的 latent 変数のアモアタイズド事後分布推論を学習可能か？
• RQ2 未知かつ可変なクラスタ数を持つ非パラメトリックベイジアンモデルを処理できるか？
• RQ3 MCMC よりもはるかに高速でありながら、明確な不確実性を保ちつつ、高精度な事後分布サンプリングが達成可能か？
• RQ4 神経スパイクソーティングやパーティクルトラッキングといった実世界の科学的問題に応用可能か？
• RQ5 再トレーニングなしに、任意サイズのデータセットに一般化可能か？

主な発見

• NCP は高密度マルチエレクトロードアレイにおけるスパイクソーティングで優れた性能を示し、20個の真値テンプレートのうち13個を回復した。これに対して Kilosort は8個、vGMFM は6個であった。
• 実データでは、NCP と Kilosort は受容野を持つユニットの数にほぼ同等であったが、NCP はピークtoピーク振幅が小さい追加のユニットを検出できた。
• 粒子トラッキングにおいて、NCP は任意の時刻に出現・消滅する可能性のある粒子の時間的軌道を、曖昧な観測系列に対しても正常に再構築できた。
• 1データセットあたり O(N) または O(K) の前方伝搬回数で十分であり、反復的な MCMC サンプリングを必要とせず、高速かつ並列推論が可能であった。
• NCP は共役モデルおよび非共役モデルの両方に対して頑健であり、事前に混合成分数を固定しない状態で事後分布を学習可能であった。
• アブレーションスタディでは、時間減衰機構が、特にノイズが多いまたは観測が疎な状況下で、時間的近接性を重み付けすることで追跡精度を向上させた。