[論文レビュー] Learnable latent embeddings for joint behavioral and neural analysis

Steffen Schneider, Jin Hwa Lee+1 more|arXiv (Cornell University)|Apr 1, 2022

Neural dynamics and brain function被引用数 12

ひとこと要約

本論文では、神経活動と行動データを統合的にモデル化することで一貫性があり解釈可能で高精度な潜在埋め込みを生成する自己教師あり学習手法CEBRAを紹介する。対照的学習と非線形独立成分分析を組み合わせ、行動や時間に条件付けた手法により、種やセッションをまたいで優れた復元精度と一貫性を達成し、カルシウムイメージングおよび電気生理学データセットにおいて、種やタスクを問わず既存の線形および非線形手法を上回る性能を発揮する。

ABSTRACT

Mapping behavioral actions to neural activity is a fundamental goal of neuroscience. As our ability to record large neural and behavioral data increases, there is growing interest in modeling neural dynamics during adaptive behaviors to probe neural representations. In particular, neural latent embeddings can reveal underlying correlates of behavior, yet, we lack non-linear techniques that can explicitly and flexibly leverage joint behavior and neural data. Here, we fill this gap with a novel method, CEBRA, that jointly uses behavioral and neural data in a hypothesis- or discovery-driven manner to produce consistent, high-performance latent spaces. We validate its accuracy and demonstrate our tool's utility for both calcium and electrophysiology datasets, across sensory and motor tasks, and in simple or complex behaviors across species. It allows for single and multi-session datasets to be leveraged for hypothesis testing or can be used label-free. Lastly, we show that CEBRA can be used for the mapping of space, uncovering complex kinematic features, and rapid, high-accuracy decoding of natural movies from visual cortex.

研究の動機と目的

• 神経活動と行動の統合的表現学習のための非線形的で一貫性があり解釈可能な手法の不足に対処すること。
• 時間的構造を保持し、神経活動埋め込みの動物間およびセッション間の一貫性を実現する次元削減技術の開発。
• 生成モデルの仮定に依存せず、行動や時間に条件付けた埋め込みにより仮説駆動型および探索的分析を可能にすること。
• 高次元の記録データから複雑な行動および神経動態を高精度に復元すること、特に自然な状況下でも有効であること。
• 最小限の仮定でラベルなし分析を可能とし、複数セッションおよび複数被験者データの統合を支援すること。

提案手法

• CEBRAは、神経活動と行動データの組み合わせを低次元の潜在空間にマップするニューラルネットワークエンコーダを対照的学習目的で訓練する。
• 時間的近接性と行動類似性に基づいて、正例と負例のペアを生成する新しいデータサンプリング方式を導入する。
• 行動や時間といった補助変数に条件付けた埋め込み空間を導入することで、教師ありおよび自己教師あり学習の両モードを可能にする。
• 非線形独立成分分析と対照的学習を組み合わせることで、学習された表現の同定可能性と一貫性を保証する。
• 複数被験者間での統合的学習を可能とし、セッション間および記録モodalitiyの分布シフトに対しても対応する。
• データ拡張や特定の生成モデルの仮定を必要としないため、汎用性と柔軟性が向上する。

実験結果

リサーチクエスチョン

• RQ1 非線形表現学習手法は、動物やセッションをまたいで一貫性があり解釈可能な潜在埋め込みを生成する神経活動と行動データを統合的にモデル化できるか？
• RQ2 CEBRAの行動復元性能は、PCA、t-SNE、UMAP、pi-VAEなどの線形および非線形ベースラインと比べてどの程度優れているか？
• RQ3 CEBRAは、既知の行動変数を有する合成データにおいて、真の潜在構造をどの程度回復できるか？
• RQ4 CEBRAは視覚皮質の神経活動から自然な視覚刺激を高精度に復元できるか？
• RQ5 ラベルなしまたは自己教師ありの方法として使用した場合、CEBRAはセッションおよび被験者をまたいでどの程度一般化性能を示すか？

主な発見

• 合成データにおいてCEBRAは中央値の再構成R²が0.9999を達成し、pi-VAE（R²=0.3522）、t-SNE、UMAP（ANOVA後の多重比較検定でp<0.001）を著しく上回った。
• ラット海馬の電気生理学データにおいて、CEBRA-Behaviorは潜在空間で左折りと右折りの移動経路を明確に分離し、行動の識別が可能であった。
• Allen Neuropixelsデータセットでは、CEBRA-jointがシーン分類の復元精度が最も高く、平均フレーム誤差が最小であり、ベースライン手法との比較でp値<0.001（多重比較検定）を示した。
• CEBRAは視覚皮質からの神経活動から自然な映像の復元を高精度に可能とし、複雑な現実世界の神経復元タスクにおける有効性を示した。
• CEBRA-jointは全ニューロン数（50〜1000）において一貫した性能を示し、多重比較検定でもほとんどの比較でp値≤0.001を維持した。
• CEBRAは分布シフトに対して頑健であり、ラベルなしデータを前提としながらも、複数セッションおよび複数動物において一貫性があり解釈可能な埋め込みを生成した。