[論文レビュー] Drop, Swap, and Generate: A Self-Supervised Approach for Generating Neural Activity

Ran Liu, Mehdi Azabou+6 more|PubMed|Nov 3, 2021

Neural dynamics and brain function参考文献 56被引用数 11

ひとこと要約

本論文では、ニューロンドロップアウトと時間的ジターリングの増幅を用いて、行動関連要因（コンテンツ）とダイナミクス関連要因（スタイル）に分離する自己教師付き生成モデルであるSwap-VAEを提案する。インスタンス固有のアライメント損失とbeta-VAEフレームワークを組み合わせ、BlockSwapを導入することで不変性を向上させた。この手法は、ラベルなしで85.04%（Chewie-1）という最先端の復元精度を達成し、サル運動皮質活動の解釈可能で分離された表現を可能にする。

ABSTRACT

Meaningful and simplified representations of neural activity can yield insights into <i>how</i> and <i>what</i> information is being processed within a neural circuit. However, without labels, finding representations that reveal the link between the brain and behavior can be challenging. Here, we introduce a novel unsupervised approach for learning disentangled representations of neural activity called <i>Swap-VAE</i>. Our approach combines a generative modeling framework with an <i>instance-specific alignment</i> loss that tries to maximize the representational similarity between transformed views of the input (brain state). These transformed (or augmented) views are created by dropping out neurons and jittering samples in time, which intuitively should lead the network to a representation that maintains both temporal consistency and invariance to the specific neurons used to represent the neural state. Through evaluations on both synthetic data and neural recordings from hundreds of neurons in different primate brains, we show that it is possible to build representations that disentangle neural datasets along relevant latent dimensions linked to behavior.

研究の動機と目的

• ラベルなしの行動データを用いた神経集団活動の分離可能で解釈可能な表現を学ぶという課題に取り組む。
• 神経表現における時間的整合性と特定のニューロンに対する不変性を捉える自己教師付き手法を開発する。
• 行動と運動ダイナミクスに関連する潜在要因を分離しつつ、現実的な神経活動パターンの生成を可能にする。
• コンテンツ要因とスタイル要因の分離度を評価する汎用的メトリクスを用いて表現品質を定量化する。
• 行動タスクにおける準備要件が神経の分離度に与える影響を調査する。

提案手法

• モデルは、神経活動の再構築を目的とした変分オートエンコーダ（beta-VAE）を用い、コンテンツとスタイルの別々の潜在空間を持つ。
• 同じ脳状態の2つのビューを生成するために、ニューロンドロップアウトと時間的ジターリングのデータ増幅を適用し、特定のニューロンや時間シフトに対して不変性を促進する。
• 2つの増幅ビューのコンテンツ表現同士の類似度を最大化するために、インスタンス固有のアライメント損失を適用する。
• 新規のBlockSwap増幅を導入し、2つのビューのコンテンツ変数を交換し、モデルが交換後のコンテンツから元のビューを再構築できるように学習させる。
• 再構築損失とアライメント損失を同時に最適化し、BlockSwap損失が分離度と頑健性を向上させる。
• 本手法は合成データおよび2匹の非ヒト霊長類（Chewie-1とMihi）の実際の神経記録を用いて評価され、各構成要素の寄与を検証するためのアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 シンプルな増幅を用いた自己教師付き学習が、ラベルなしで神経活動を行動関連要因（コンテンツ）とダイナミクス関連要因（スタイル）に分離可能か？
• RQ2 BlockSwap増幅は、標準的な対照的損失や再構築損失と比較して、分離度と表現品質をどのように向上させるか？
• RQ3 行動タスクの構造、特に準備要件の有無が神経の分離度に与える影響は何か？
• RQ4 モデルが解釈可能な分離表現を保持しつつ、どれほど現実的な神経活動パターンを生成できるか？
• RQ5 空間的、時間的、および両方の増幅戦略（組み合わせ）が、分離目的関数の性能にどのように影響を与えるか？

主な発見

• 提案されたSwap-VAEモデルは、Chewie-1データセットで85.04%の復元精度を達成し、ヴァニラVAEおよびbeta-VAEベースラインを顕著に上回った。
• BlockSwap損失を含めることで性能が向上し、アライメント損失とBlockSwap損失の両方を用いた際に最高の精度が得られた。
• BlockSwapが存在する場合、L2アライメント損失を除去しても影響が最小限に抑えられ、BlockSwap単体がコンテンツ不変性に対する強いインダクティブバイアスを提供することが示された。
• 空間的および時間的増幅（S+T-Aug）を組み合わせたモデルが、空間的または時間的増幅のみのモデルを上回り、マルチモーダルな増幅の重要性が浮き彫りになった。
• 移動開始までの準備遅延を要したMihiは、Chewieに比べてより顕著な分離度を示し、準備が神経表現の構造化を促進する可能性を示唆した。
• アブレーションスタディにより、再構築損失、アライメント損失、BlockSwap損失のすべての構成要素が、分離度と頑健性の向上に寄与していることが確認された。