[論文レビュー] Deep inference of latent dynamics with spatio-temporal super-resolution using selective backpropagation through time

Zhu Feng, Andrew R. Sedler+6 more|arXiv (Cornell University)|Oct 29, 2021

Neural dynamics and brain function参考文献 56被引用数 5

ひとこと要約

本論文では、疎または不規則にサンプリングされた時系列データから潜在ニューラルダイナミクスを推定できる、選択的バックプロパゲーションスパンタイム（SBTT）と呼ばれる新しい訓練手法を導入する。SBTTは、低次元の集団ダイナミクスを活用することで、神経記録において空間的・時間的スーパーサンプリングを実現し、高精細な推定を達成しつつ最大80%のデータ欠落率に耐えうる。これは、最先端の手法を上回る行動解釈性能を実現する。

ABSTRACT

Modern neural interfaces allow access to the activity of up to a million neurons within brain circuits. However, bandwidth limits often create a trade-off between greater spatial sampling (more channels or pixels) and the temporal frequency of sampling. Here we demonstrate that it is possible to obtain spatio-temporal super-resolution in neuronal time series by exploiting relationships among neurons, embedded in latent low-dimensional population dynamics. Our novel neural network training strategy, selective backpropagation through time (SBTT), enables learning of deep generative models of latent dynamics from data in which the set of observed variables changes at each time step. The resulting models are able to infer activity for missing samples by combining observations with learned latent dynamics. We test SBTT applied to sequential autoencoders and demonstrate more efficient and higher-fidelity characterization of neural population dynamics in electrophysiological and calcium imaging data. In electrophysiology, SBTT enables accurate inference of neuronal population dynamics with lower interface bandwidths, providing an avenue to significant power savings for implanted neuroelectronic interfaces. In applications to two-photon calcium imaging, SBTT accurately uncovers high-frequency temporal structure underlying neural population activity, substantially outperforming the current state-of-the-art. Finally, we demonstrate that performance could be further improved by using limited, high-bandwidth sampling to pretrain dynamics models, and then using SBTT to adapt these models for sparsely-sampled data.

研究の動機と目的

• 神経インターフェースにおいて、高いニューロン数と限られた時間分解能の間で生じる帯域幅と空間的サンプリングのトレードオフを解消すること。
• すべてのニューロンが各タイムステップで観測されないような、不規則または疎なデータからも神経集団ダイナミクスを正確に推定できる手法を開発すること。
• 低次元の潜在ダイナミクスを活用することで、電気生理学的記録およびカルシウムイメージングにおける神経データの忠実性と効率を向上させること。
• 動的記録帯域幅の適応的モデリングを通じて、電力効率的で高容量な神経インターフェースを実現すること。

提案手法

• SBTTは、時系列ごとに観測変数の集合が変化する場合でも、再帰的ニューラルネットワークにおけるバックプロパゲーションスパンタイムを可能にする訓練戦略である。
• この手法は、エンコーダが観測された疎な神経活動を低次元の潜在状態にマッピングする順序付きオートエンコーダーを用いる。
• SBTTは、各タイムステップで観測されたニューロンにのみ勾配を選択的にバックプロパゲートするため、観測パターンが変化してもエンドツーエンドの学習が可能になる。
• この手法は、LFADSに基づくモデルに適用され、潜在ダイナミクスの同時推定と欠落した時間サンプルの再構成を可能にする。
• 事前学習済みの完全データモデルを疎なデータ上で微調整することで、転移学習を可能とし、高スパarsityレベルでも性能が向上する。
• 2光子イメージングおよび間欠的電気生理学的記録における既知のサンプリング時刻を活用し、フレームレートでは観測できない高周波数ダイナミクスを再構成する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、疎にサンプリングされた神経時系列データから高精細な潜在神経ダイナミクスを推定できるか？
• RQ2 選択的バックプロパゲーションスパンタイム（SBTT）は、疎なデータに対する標準的な学習と比較して、潜在ダイナミクス推定の精度をどのように向上させるか？
• RQ3 SBTTは、フレームレート未満の高周波数時間的構造をカルシウムイメージングデータからどの程度回復できるか？
• RQ4 事前学習済みのダイナミクスモデルをSBTTを用いて疎なデータで微調整することで、優れた行動解釈性能を達成できるか？
• RQ5 SBTTは、インプラント型神経インターフェースにおける電力効率と帯域幅使用量にどのような影響を及えるか？

主な発見

• SBTTは、学習データの80％をマスクしても、潜在神経集団ダイナミクスの正確な推定を可能とし、極度のスパarsityに対しても強い耐性を示す。
• 2光子カルシウムイメージングデータにおいて、SBTTはフレームレート未満の高周波数時間的構造を明らかにし、最先端の手法を著しく上回る。
• 実際の電気生理学的記録データにおいて、SBTTは低いインターフェース帯域幅で手の速度を正確に解釈可能であり、インプラントデバイスにおける顕著な電力節約を示唆する。
• SBTTを用いて完全データで学習済みモデルの初期層を疎なデータで微調整することで、高スパarsityレベルでも性能が向上し、完全に疎なデータでの学習のみに依存するモデルを上回る。
• SBTTは、より高精度な潜在ダイナミクス再構成と改善された行動解釈性能を達成しており、合成および実際の神経データの両方においてその有効性を確認している。