[論文レビュー] Rescuing neural spike train models from bad MLE

Diego M. Arribas, Yuan Zhao+1 more|arXiv (Cornell University)|Oct 23, 2020

Neural dynamics and brain function参考文献 29被引用数 5

ひとこと要約

本稿では、標準的な最尤推定（MLE）による不安定性および長期的生成性能の低さを是正するため、スパイクトレインカーネルを用いて最大平均差分（MMD）を最小化する手法を提案する。この手法により、データと生成スパイクトレインの類似性を直接最適化することでモデルの安定性が向上し、自己強化の走逸を低減するとともに、カーネル選択およびMMD重みによる主要な統計的特徴の制御が可能になる。

ABSTRACT

The standard approach to fitting an autoregressive spike train model is to maximize the likelihood for one-step prediction. This maximum likelihood estimation (MLE) often leads to models that perform poorly when generating samples recursively for more than one time step. Moreover, the generated spike trains can fail to capture important features of the data and even show diverging firing rates. To alleviate this, we propose to directly minimize the divergence between neural recorded and model generated spike trains using spike train kernels. We develop a method that stochastically optimizes the maximum mean discrepancy induced by the kernel. Experiments performed on both real and synthetic neural data validate the proposed approach, showing that it leads to well-behaving models. Using different combinations of spike train kernels, we show that we can control the trade-off between different features which is critical for dealing with model-mismatch.

研究の動機と目的

• 標準的な最尤推定（MLE）で訓練された自己回帰的ニューラルスパイクトレインモデルにおける不安定性および長期的サンプル生成性能の低さを是正すること。
• データと生成スパイクトレイン間の乖離を直接最小化することで、モデルのサンプル品質を向上させる手法の開発。
• カーネル選択およびMMD重みを用いて、モデルが捉える統計的特徴（例：発火レート、ISI分布）を制御可能にする。
• 尤度ベースの訓練とは異なり、柔軟かつ解釈可能な代替手法を提供し、モデルの安定性およびシミュレーションの信頼性を向上させること。
• 機械学習分野における生成モデルの原則を神経科学的モデル、特にポイントプロセスGLMに拡張すること。

提案手法

• スパイクトレインカーネルを用いて、実測データとモデル生成スパイクトレイン間の統計的乖離を測定する最大平均差分（MMD）目的関数を定義する。
• 確率的最適化を用いてMMDを最小化し、微分可能なカーネルに対してスコア関数推定器による勾配推定を実施する。
• MLEとMMDを組み合わせたハイブリッド目的関数を導入し、尤度とサンプル品質のバランスをとる。MMD重みαがそのトレードオフを制御する。
• GLMの履歴項（例：時間的自己相関）に基づくモデルベースのカーネルを用い、スパイクトレイン統計の動的特徴を捉える。
• アンサンブルサンプリングを用いて長期間のシーケンスを生成し、平均発火レート、ISIの変動係数（CV）、自己相関などの指標でモデル性能を評価する。
• 各カーネルに対して最適化を20回繰り返し、結果のばらつきおよび頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 スパイクトレインカーネルを用いたMMD最小化は、標準的なMLEと比較して、自己回帰的スパイクトレインモデルの長期的安定性を向上させるか？
• RQ2 MMDに基づく最適化は、インターファイル間隔分布や発火レートといった主要な統計的特徴にどのように影響を与えるか？
• RQ3 異なるスパイクトレインカーネルを用いることで、モデル生成時に特定の特徴（例：平均レート対自己相関）を優先的に捉えられるか？
• RQ4 MMD正則化は、モデル生成スパイクトレインにおける自己強化の走逸をどの程度低減するか？
• RQ5 MMD重みαは、モデル訓練における尤度とサンプル品質のトレードオフを制御するために使用可能か？

主な発見

• MLEは高い訓練および検証ログ尤度を達成したが、4.4%の試行で自己強化に起因する発火レートの発散を示した。
• MMD最適化モデルは全般に発散確率が著しく低減され、モデル5では20回の最適化で0%の発散を達成した。
• ガウス平滑化スパイクトレイン特徴マップを用いたモデル2は、MLEを上回る検証ログ尤度を達成しており、MMDが正則化として機能していることを示唆している。
• MMD最適化モデルは、MMDが低いモデルほどISI分布の平均および変動係数（CV）をより正確に捉えていた。
• 平均履歴項を特徴マップに用いたモデル3は、最も低い安定性（中央値0.1%の発散）を示したが、依然としてMLEを上回るサンプル品質を達成していた。
• MMD重みαを増加させることで発散リスクがさらに低下し、ハイパーパramータチューニングによるモデル挙動の効果的制御が可能であることが示された。