[論文レビュー] Robust alignment of cross-session recordings of neural population activity by behaviour via unsupervised domain adaptation

Justin Jude, Matthew G. Perich+2 more|arXiv (Cornell University)|Feb 12, 2022

Neural dynamics and brain function被引用数 14

ひとこと要約

本稿では、再訓練を伴わずにクロスセッション神経集団活動を整列させるために、行動誘導による分離を施した逐次変分オートエンコーダを用いたドメイン適応手法SABLEを提案する。SABLEは、セッションに依存しない潜在的ダイナミクスを学習することで、プライマートの運動皮質データにおいて、従来のモデルやRAVE+といった既存のドメイン適応手法を上回る、信頼性の高い行動デコードを実現する。

ABSTRACT

Neural population activity relating to behaviour is assumed to be inherently low-dimensional despite the observed high dimensionality of data recorded using multi-electrode arrays. Therefore, predicting behaviour from neural population recordings has been shown to be most effective when using latent variable models. Over time however, the activity of single neurons can drift, and different neurons will be recorded due to movement of implanted neural probes. This means that a decoder trained to predict behaviour on one day performs worse when tested on a different day. On the other hand, evidence suggests that the latent dynamics underlying behaviour may be stable even over months and years. Based on this idea, we introduce a model capable of inferring behaviourally relevant latent dynamics from previously unseen data recorded from the same animal, without any need for decoder recalibration. We show that unsupervised domain adaptation combined with a sequential variational autoencoder, trained on several sessions, can achieve good generalisation to unseen data and correctly predict behaviour where conventional methods fail. Our results further support the hypothesis that behaviour-related neural dynamics are low-dimensional and stable over time, and will enable more effective and flexible use of brain computer interface technologies.

研究の動機と目的

• 記録セッション間で神経信号のドリフトが生じるため、脳-コンピュータインターフェースにおけるデコーダ性能の低下という課題に対処すること。
• 再トレーニングなしでは未学習セッションに一般化できない従来のデコーダの制限を克服すること。
• 行動関連の神経ダイナミクスは、単一ニューロンのばらつきが存在しても、低次元的かつ安定的であるという仮説を活用すること。
• ラベルなしの記録データと行動ラベルのみを用いて、未学習データから行動に関連する潜在的ダイナミクスを推定する手法を開発すること。
• ドメインラベルやセッション固有のキャリブレーションを必要とせずに、セッション間での一般化を可能にすること。

提案手法

• 同じ動物の複数の記録セッションに対して、神経活動と行動ラベルを入力として、逐次変分オートエンコーダ（SVAE）を訓練する。
• 潜在空間が行動に関連する要因とセッション固有のノイズを分離するよう、行動デコーダヘッドを導入する。
• 行動デコーダからの勾配を逆伝播させることで、エンコーダが非行動関連のばらつきを無視するよう促し、セッション不変性を促進する。
• 各セッションをドメインとみなすことで、明示的なドメインラベルを必要としない教師なしドメイン適応を実施する。
• 神経活動の再構成と行動予測の両方を最適化しながら、セッション間で安定した潜在的ダイナミクスを維持するように、モデルをエンドツーエンドで最適化する。
• 長期間にわたるサルの運動皮質記録（到達タスク実行時）にモデルを適用し、ホールドアウトされたセッションへの一般化をテストする。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングやドメインラベルを必要とせずに、1つのモデルが複数の記録セッションにわたって行動を予測できるか？
• RQ2 神経信号のドリフトやプローブ移動が生じても、行動の背後にある潜在的ダイナミクスはセッション間で安定しているか？
• RQ3 行動誘導された変分オートエンコーダを用いた教師なしドメイン適応は、従来の手法よりもクロスセッションデコードを改善するか？
• RQ4 特にセッション間の変動が著しい状況下で、トレーニング時に見られなかったセッションに対してモデルがどのように性能を発揮するか？
• RQ5 試行間で時間的ダイナミクスが著しく変化しても、モデルは低次元で行動に関連するダイナミクスを回復できるか？

主な発見

• SABLEは再トレーニングを伴わず、未学習の記録セッションに一般化でき、従来のモデルが失敗する状況でも正確な行動デコードを達成した。
• ベースラインのRNNおよびLFADSモデルに比べ、SABLEはクロスセッションデコードにおいて優れた一般化能力を示した。
• 競合するドメイン適応手法RAVE+は、試行間の変動が著しいため、行動に関連する構造を捉えられず、未学習セッションでのデコード性能が低かった。
• SABLEの性能は12セッションのトレーニングで飽和せず、さらなるデータで改善の余地があることを示唆している。
• 中間のホールドアウトセッションでは、シーケンスの終盤のセッションよりも高い性能を示しており、長期時間間隔における性能低下の可能性を示唆している。
• ローレンツ系を用いた合成実験により、ランダム変換下でも安定した潜在的ダイナミクスを回復できることが確認され、本手法の頑健性を裏付けた。