[論文レビュー] Statistical inference on representational geometries

Heiko H. Schütt, Alexander D. Kipnis+2 more|arXiv (Cornell University)|Dec 16, 2021

Functional Brain Connectivity Studies被引用数 9

ひとこと要約

本論文は、被験者や条件に過剰適合しないようにするため、神経集団反応の刺激に対する代表的幾何構造（多次元距離構造）を予測する精度に基づいて、脳計算モデルを評価するための新しい統計的推論手法を提案する。2要因の交差検証とブートストラップを組み合わせることで、被験者や条件に過剰適合することを防ぎ、妥当で一般化可能なモデル比較を可能にする。シミュレートされたfMRIおよびカルシウムイメージングデータ、および実際のfMRIおよびカルシウムイメージングデータを用いて検証され、オープンソースのツールが利用可能である。

ABSTRACT

Neuroscience has recently made much progress, expanding the complexity of both neural-activity measurements and brain-computational models. However, we lack robust methods for connecting theory and experiment by evaluating our new big models with our new big data. Here, we introduce new inference methods enabling researchers to evaluate and compare models based on the accuracy of their predictions of representational geometries: A good model should accurately predict the distances among the neural population representations (e.g. of a set of stimuli). Our inference methods combine novel 2-factor extensions of crossvalidation (to prevent overfitting to either subjects or conditions from inflating our estimates of model accuracy) and bootstrapping (to enable inferential model comparison with simultaneous generalization to both new subjects and new conditions). We validate the inference methods on data where the ground-truth model is known, by simulating data with deep neural networks and by resampling of calcium imaging and functional MRI data. Results demonstrate that the methods are valid and conclusions generalize correctly. These data analysis methods are available in an open-source Python toolbox (rsatoolbox.readthedocs.io).

研究の動機と目的

• 高次元の神経データに対する複雑な脳計算モデルを評価するという増大する課題に対処すること。
• 被験者や実験的条件に過剰適合しない、強固な統計的推論手法を開発すること。
• ブートストラップと交差検証を用いて、新しい被験者や新しい条件において一般化可能なモデル比較を可能にすること。
• 既知の真値を持つシミュレートデータと、実際の神経データセット（fMRIおよびカルシウムイメージング）を用いて、手法を検証すること。
• 神経科学における代表的類似性の再現可能な分析を可能にするオープンソースのツールを提供すること。

提案手法

• 被験者と条件の両方に対して別々に交差検証を行う2要因の交差検証フレームワークを提案し、いずれの要因に対しても過剰適合を防ぐ。
• 同時に新しい被験者と新しい条件に一般化するブートストラップ手順を導入し、モデル精度に関する妥当な推論を可能にする。
• 代表的不相似行列（RDM）を用いて、神経集団反応の幾何構造を定量化し、負の値を取り得る交差検証による距離推定器を用いる。この推定器はノイズによって偏りを生じさせない。
• RDM推定の安定化のため、単位行列、対角行列、および収縮推定器（Ledoit-WolfおよびSch"{a}fer-Strimmer）によるノイズ共分散推定を採用する。
• 予測されたRDMと測定されたRDMの間の相関またはコサイン類似度を用いてモデル比較を行うが、ブートストラップにおいてバイアス補正を施す。
• 深層ニューラルネットワークのシミュレーションと、実際のfMRIおよびカルシウムイメージングデータのリサンプリングを用いて、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 提案された推論フレームワークは、被験者や条件に過剰適合することなく、モデルの性能を正確に推定できるか？
• RQ2 新しい被験者や新しい実験的条件に対して評価する際、この手法は信頼性を持って一般化できるか？
• RQ3 既知の真値を持つシミュレートデータにおいて、推論手法はどの程度の性能を示すか？
• RQ4 同じデータから得られたモデルであっても、RDMに基づいて異なる脳領域を区別できるか？
• RQ5 fMRIおよびカルシウムイメージングを含む、さまざまな神経データタイプに対して、この手法は頑健か？

主な発見

• 提案された推論手法は、多様なシミュレーション条件下で妥当であり、高いノイズや限られたデータが存在する状況でも、正しい第一種の誤り率を維持する。
• 2要因の交差検証とブートストラップのフレームワークは、既知の真値を持つシミュレーションで示されるように、被験者や条件に過剰適合を防ぐのに効果的である。
• 新しい被験者や新しい条件に対しても正しく一般化され、fMRIデータの144,000回のシミュレーションおよびカルシウムイメージングデータの15,552のシミュレーション条件下で、モデル精度の正確な推定が可能である。
• 実際のカルシウムイメージングデータにおいて、1名を除いた交差検証（leave-one-out）を用いて、脳領域の識別が成功し、神経表現の差別化能力を示している。
• オープンソースのツールボックス rsatoolbox.readthedocs.io を用いることで、多様な神経データセットにおける代表的幾何の再現可能な分析が可能である。
• 被験者および条件の両方の変動を同時に考慮するため、従来のアプローチに比べて、モデル比較において優れた性能を示している。