[論文レビュー] A Spectral Theory of Neural Prediction and Alignment

Abdülkadir Canatar, Jenelle Feather+2 more|arXiv (Cornell University)|Sep 22, 2023

Neural dynamics and brain function被引用数 5

ひとこと要約

本稿は、深層ニューラルネットワーク（DNN）の表現と視覚皮質における神経応答の予測能力を結びつけるスペクトル理論を構築する。リッジ回帰誤差を幾何的要因—誤差モード半径と次元性—に分解することで、スペクトルバイアスとタスク-モデル整合性が共に予測性能を決定づけることが明らかになり、構造的に異なるDNNが有効次元性や活性化幾何学の面で異なるにもかかわらず、同程度の神経予測性を示す理由が説明される。

ABSTRACT

The representations of neural networks are often compared to those of biological systems by performing regression between the neural network responses and those measured from biological systems. Many different state-of-the-art deep neural networks yield similar neural predictions, but it remains unclear how to differentiate among models that perform equally well at predicting neural responses. To gain insight into this, we use a recent theoretical framework that relates the generalization error from regression to the spectral properties of the model and the target. We apply this theory to the case of regression between model activations and neural responses and decompose the neural prediction error in terms of the model eigenspectra, alignment of model eigenvectors and neural responses, and the training set size. Using this decomposition, we introduce geometrical measures to interpret the neural prediction error. We test a large number of deep neural networks that predict visual cortical activity and show that there are multiple types of geometries that result in low neural prediction error as measured via regression. The work demonstrates that carefully decomposing representational metrics can provide interpretability of how models are capturing neural activity and points the way towards improved models of neural activity.

研究の動機と目的

• 構造的に異なる多数の深層ニューラルネットワークが、視覚皮質における神経応答の予測で同程度の性能を示す理由を理解すること。
• 神経応答予測誤差を、その背後にあるメカニズムを明らかにする幾何的およびスペクトル的成分に分解すること。
• 分散説明率のようなスカラー指標にとどまらず、一般化誤差に関連する解釈可能な幾何的測度を導入すること。
• DNN活性化の有効次元性が神経応答予測誤差と相関するかどうかを検証し、従来の仮定に疑問を呈すること。
• DNN表現幾何学と回帰ベースの神経応答予測性能を結びつける理論的枠組みを提供すること。

提案手法

• 統計物理学の原則を用いて、神経応答予測におけるリッジ回帰誤差の理論的分解を導出する。
• 2つの主要なスペクトル要因を同定：スペクトルバイアス（データグラム行列固有値の減衰率）とタスク-モデル整合性（神経応答がモデル固有ベクトルに射影される度合い）。
• 2つの幾何的測度を導入：誤差モード半径（Rem）と誤差モード次元性（Dem）、これらは一般化誤差と直接関連する。
• ImageNetで学習された100以上のDNNを用い、視覚皮質領域（V1, V4, IT）のfMRI/EEGデータに対して理論を適用する。
• 活性化グラム行列固有値の参加比を用いて有効次元性（ED）を測定し、全活性化と空間平均化された活性化を比較する。
• 固有値や整合性係数を変更することでアブレーションスタディを実施し、それらが予測誤差に与える影響を隔離する。

実験結果

リサーチクエスチョン

• RQ1 構造的に異なる深層ニューラルネットワークが、内部表現が異なるにもかかわらず、なぜ同程度の神経応答予測性能を示すのか？
• RQ2 DNN活性化のスペクトル的性質とそれらが神経応答と整合する度合いが、神経応答予測における回帰誤差をどのように決定づけるのか？
• RQ3 DNN活性化の有効次元性は、脳領域にかかわらず神経応答予測誤差と相関するのか？
• RQ4 DNN活性化の空間平均化が、次元性と予測性能の真の関係を曇らせる程度はどの程度か？
• RQ5 誤差モード半径や次元性といった幾何的測度は、標準的指標を超えて神経応答予測誤差の変動を説明できるか？

主な発見

• 神経応答予測誤差は、有効次元性のみではなく、スペクトルバイアスとタスク-モデル整合性の組み合わせによって最もよく説明される。
• 提案された幾何的測度、誤差モード半径（Rem）と次元性（Dem）は、一般化誤差の構造を直接捉えており、観察された予測性能と強く相関している。
• DNN全活性化の有効次元性は、脳領域を問わず神経応答予測誤差と相関しない。これは、空間平均化に依存した先行研究とは対照的である。
• DNN活性化に空間平均化を適用すると、特にITおよびV4において、有効次元性と予測誤差の相関が現れるが、これは応答変動性の損失に起因する。
• 理論は、構造が著しく異なるにもかかわらず同程度の神経予測を示すモデルが成立する理由をうまく説明している：スペクトルバイアスと整合性の有利な組み合わせを達成しているからである。
• 固有値の減衰を緩和するか、整合性を低下させると予測誤差が増加する。これは理論的分解の予測能力を確認するものである。