[論文レビュー] Capturing cross-session neural population variability through self-supervised identification of consistent neuron ensembles

Justin Jude, Matthew G. Perich+2 more|arXiv (Cornell University)|May 19, 2022

Neural dynamics and brain function被引用数 4

ひとこと要約

この論文では、CAPTIVATEと呼ばれる自己教師あり深層学習フレームワークを紹介する。このフレームワークは、神経記録セッション間の変動にかかわらず一貫したニューロン集合を特定することで、高い精度の行動デコードを維持する。本モデルは、実際のセッション間変化（ニューロンの喪失、置換、プローブのずれなど）を模倣した摂動データから元のニューロン位置を予測するための再帰的ニューラルネットワーク（RNN）を訓練する。このRNNの出力は、神経動態を再構築し、行動をデコードするための順序付きオートエンコーダに供給される。本モデルは、1回の訓練セッションのみを用いて、8日後までの未観測セッションにおいても最先端の性能を発揮する。

ABSTRACT

Decoding stimuli or behaviour from recorded neural activity is a common approach to interrogate brain function in research, and an essential part of brain-computer and brain-machine interfaces. Reliable decoding even from small neural populations is possible because high dimensional neural population activity typically occupies low dimensional manifolds that are discoverable with suitable latent variable models. Over time however, drifts in activity of individual neurons and instabilities in neural recording devices can be substantial, making stable decoding over days and weeks impractical. While this drift cannot be predicted on an individual neuron level, population level variations over consecutive recording sessions such as differing sets of neurons and varying permutations of consistent neurons in recorded data may be learnable when the underlying manifold is stable over time. Classification of consistent versus unfamiliar neurons across sessions and accounting for deviations in the order of consistent recording neurons in recording datasets over sessions of recordings may then maintain decoding performance. In this work we show that self-supervised training of a deep neural network can be used to compensate for this inter-session variability. As a result, a sequential autoencoding model can maintain state-of-the-art behaviour decoding performance for completely unseen recording sessions several days into the future. Our approach only requires a single recording session for training the model, and is a step towards reliable, recalibration-free brain computer interfaces.

研究の動機と目的

• 脳-コンピュータインターフェースにおけるセッション間神経変動の課題に対処し、ニューロンのドリフトや記録不安定性により性能が低下するのを防ぐ。
• 再トレーニングやキャリブレーションを必要とせず、完全に未観測の記録セッションからの信頼性の高い行動デコードを可能にする手法を開発する。
• ニューロンのアイデンティティ、順序、活動パターンの変化にもかかわらず、セッション間で一貫したニューロン集合を特定・活用する。
• 1回のセッションで学習した自己教師あり学習が、将来的なセッションに高いデコード精度で一般化できることを示す。

提案手法

• 実際のセッション間変動を模倣するため、同じ試行の複数の摂動版から元のニューロン位置を予測する自己教師あり再帰的ニューラルネットワーク（RNN）を訓練する。
• 摂動には、ニューロンの追加、削除、置換、削除、ジタリング、再順序化が含まれ、神経集合の変動の主な要因を反映している。
• RNNの出力（ニューロン位置埋め込み）を、動的システムによる潜在的要因分析（LFADS）オートエンコーダに供給する共同訓練スキームを採用し、元の神経活動を再構築する。
• LFADSエンコーダはRNNのニューロン位置埋め込みに条件付けられており、明示的な行動の監視がなくても、行動に関連する潜在変数を生成できる。
• 未観測セッションからの再構築潜在変数が訓練セッションのそれと一致するように、アライメント損失を適用することで、デコード性能を向上させる。
• モデルは1つのセッションでのみ訓練され、その後のセッションでテストされ、未観測試行における行動デコード精度（R²）によって性能が評価される。

実験結果

リサーチクエスチョン

• RQ1 顕著なセッション間変動がある中でも、自己教師ありモデルが神経記録セッション間で一貫したニューロン集合を特定できるか？
• RQ2 1セッションで学習したモデルが、数日後の未観測セッションにおいても高いデコード精度を維持できるか、その程度はどの程度か？
• RQ3 ニューロンの置換、削除、プローブのずれなどの、どの種類のセッション間摂動がデコード性能に最も顕著に悪影響を及ぼすか？
• RQ4 セッション間で持続するニューロン数が増えるに従って、モデルの性能はどのように変化するか？

主な発見

• CAPTIVATEは、1日目の訓練後、未観測セッションの最初の試行で、マネークCではR² = 0.84（±0.02）、マネークMではR² = 0.86（±0.03）の平均デコード性能を達成した。
• アブレーションスタディの結果、ニューロンの置換と再順序化の摂動がデコード性能に最も大きな影響を与え、削除や削除も顕著に寄与していた。
• モデルは最大8日間で高いデコード精度を維持したが、その後は変動がモデルの補正能力を超えて増加するため、徐々に性能が低下した。
• アライメント損失を除去しても性能はわずかに低下した（マネークCではR² = 0.82、マネークMではR² = 0.85）、自己教師ありアライメントが明示的監視なしに効果的であることを示している。
• 少ないニューロン数のセッションに対してもモデルは良好に一般化し、一部のケースではより多くのニューロン数で訓練されたモデルを上回る性能を示した。これは、変動する記録品質に対しても強い耐性を示している。
• 1日目または11日目に訓練した場合の性能は対称的であり、モデルが時間的に前方および後方の両方向に一般化できることを示しており、強力な時間的不変性を示している。