[論文レビュー] Deep Neural Imputation: A Framework for Recovering Incomplete Brain Recordings

Sabera Talukder, Jennifer J. Sun+3 more|arXiv (Cornell University)|Jun 16, 2022

Neural dynamics and brain function被引用数 10

ひとこと要約

本稿では、深層生成オートエンコーダーと線形近傍法ベースラインを用いて、日付や被験者をまたいで欠損する多電極脳内EEGデータを回復するためのフレームワーク、Deep Neural Imputation (DNI) を提案する。DNIは、時間領域および周波数領域の両方のコンテンツを正確に再構成でき、最大50％の欠損データがあっても、下流の神経デコード性能を顕著に向上させ、現実の神経科学研究における実用的価値を示している。

ABSTRACT

Neuroscientists and neuroengineers have long relied on multielectrode neural recordings to study the brain. However, in a typical experiment, many factors corrupt neural recordings from individual electrodes, including electrical noise, movement artifacts, and faulty manufacturing. Currently, common practice is to discard these corrupted recordings, reducing already limited data that is difficult to collect. To address this challenge, we propose Deep Neural Imputation (DNI), a framework to recover missing values from electrodes by learning from data collected across spatial locations, days, and participants. We explore our framework with a linear nearest-neighbor approach and two deep generative autoencoders, demonstrating DNI's flexibility. One deep autoencoder models participants individually, while the other extends this architecture to model many participants jointly. We evaluate our models across 12 human participants implanted with multielectrode intracranial electrocorticography arrays; participants had no explicit task and behaved naturally across hundreds of recording hours. We show that DNI recovers not only time series but also frequency content, and further establish DNI's practical value by recovering significant performance on a scientifically-relevant downstream neural decoding task.

研究の動機と目的

• 多電極神経記録において、汚損または欠損する電極記録を除外する課題に対処し、データの可用性を低下させ、モデルの一般化能力を制限すること。
• セッションや個人をまたいで欠損データを統一的に補完するフレームワークを構築し、脳内EEGデータセットにおける空間的・時間的ばらつきを克服すること。
• 補完されたデータが、神経デコードなどの下流の神経科学的タスクにおける性能を、顕著な欠損データがあっても回復できるかどうかを評価すること。
• 異なるセッションにわたる参加者間で共有される表現を学習する可能性を検討し、個々のセッションを超えた一般化を可能にする。
• 特に参加者間の変動が著しいインプラント型記録に対して、神経科学分野における多次元時系列補完のベンチマークを確立すること。

提案手法

• DNIは、トレーニング中にランダムに電極をマスクする自己教師付きのマスク電極モデリングタスクを採用し、BERT風の事前学習に類似した形で、マスクされた電極を再構成するようにモデルを学習させる。
• 比較のための線形近傍法ベースラインに加え、2つの深層生成オートエンコーダーモデル（参加者固有のCNNAEと、共有内部層と参加者固有のエンコーダ/デコーダを持つ共同参加者M-CNNAE）を含む。
• M-CNNAEモデルは、参加者固有のエンコーディング/デコーディング層と共有された隠れ層を用い、複数名の参加者を同時にモデル化することで、異なる電極構成に一般化可能となる。
• 補完は、テストデータの電極をマスクし、訓練済みモデルを用いて欠損値を予測することで実施され、再構成性能は時間領域およびスペクトル的コンテンツの両方で評価される。
• 本手法は、複数日間にわたり自然な行動を記録した12名の被験者に適用され、インプラント型脳皮質EEG（ECoG）アレイを用いて数百時間にわたる記録が得られた。
• 周波数コンテンツの回復は、補完された信号と真値信号のパワースペクトルを比較することで評価され、DNIが明示的な周波数モデリングなしにスペクトル特性を保持していることが示された。

実験結果

リサーチクエスチョン

• RQ1 高ばらつきのある電極配置を持つ、日付や被験者をまたいで欠損する多電極神経時系列データを、深層ニューラルネットワークが効果的に回復できるか？
• RQ2 参加者間で共有表現を用いて欠損データを補完することで、個々の参加者向けモデルと比較して再構成精度と一般化性能が向上するか？
• RQ3 DNIは、時間領域の再構成に加え、周波数ドメイン（スペクトル的）コンテンツの回復もどの程度達成できるか？
• RQ4 欠損データを除外するのと比較して、補完データを用いることで、神経デコードなどの下流の神経科学的タスクの性能が顕著に向上するか？
• RQ5 特に、全セッションにわたって完全に欠損する電極がある場合を含め、欠損データ率の増加に伴いDNIの性能はどのように変化するか？

主な発見

• DNIは、電極データの50％まで欠損していても、神経信号の時間領域および周波数領域の両方のコンテンツを効果的に回復でき、明示的な周波数モデリングなしにスペクトル特性を保持している。
• 線形近傍法ベースラインは10％の欠損データでは良好に機能するが、欠損率が上昇するにつれてDNIの深層オートエンコーダーモデルが著しく優れている。
• 複数名の参加者を同時にモデル化するM-CNNAEモデルは、未学習の参加者データを補完するDOPE一般化可能な状況で、最先端の性能を達成している。
• DNIは、補完データを用いることで下流の神経デコード性能を顕著に向上させ、現実の神経科学パイプラインにおける実用的価値を示している。
• 時間領域再構成精度と周波数コンテンツ回復の間に正の相関が見られ、時間的構造が周波数の正確性を暗黙的に支援している可能性を示唆している。
• 本フレームワークは線形モデルおよび非線形モデルの両方と互換性があり、さまざまな神経データ解析ワークフローへの柔軟な適用性と広範な適合性を示している。