[論文レビュー] Soft Matching Distance: A metric on neural representations that captures single-neuron tuning

Meenakshi Khosla, Alex H. Williams|arXiv (Cornell University)|Nov 16, 2023

Advanced Neuroimaging Techniques and Applications被引用数 6

ひとこと要約

この論文は、最適輸送理論を用いて、サイズが異なるネットワークへの1対1ニューロンマッピングを一般化することで、回転に敏感で置換に対して不変なニューラル表現の距離測度「ソフトマッチング距離」を導入する。この距離測度は、回転不変な測度が見逃すニューラルチューニングの幾何的構造を明らかにし、人工的および生物学的ネットワーク間で単一ニューロンのチューニングが保存されることを示しており、線形予測性といった標準的な測度よりも、モデルと脳の類似性を区別する能力に優れている。

ABSTRACT

Common measures of neural representational (dis)similarity are designed to be insensitive to rotations and reflections of the neural activation space. Motivated by the premise that the tuning of individual units may be important, there has been recent interest in developing stricter notions of representational (dis)similarity that require neurons to be individually matched across networks. When two networks have the same size (i.e. same number of neurons), a distance metric can be formulated by optimizing over neuron index permutations to maximize tuning curve alignment. However, it is not clear how to generalize this metric to measure distances between networks with different sizes. Here, we leverage a connection to optimal transport theory to derive a natural generalization based on "soft" permutations. The resulting metric is symmetric, satisfies the triangle inequality, and can be interpreted as a Wasserstein distance between two empirical distributions. Further, our proposed metric avoids counter-intuitive outcomes suffered by alternative approaches, and captures complementary geometric insights into neural representations that are entirely missed by rotation-invariant metrics.

研究の動機と目的

• 回転不変な類似性測度が無視する単一ニューロンのチューニングを捉える距離測度の開発。
• 従来、同じサイズのネットワークに限られていた1対1ニューロンマッピングを、異なるサイズのネットワークにも適用可能な枠組みに一般化すること。
• 対称的であり、三角不等式を満たし、他の回転に敏感なアプローチが引き起こす直感的でない結果を避ける距離測度の提供。
• 人工的および生物学的ニューラルネットワーク間で単一ニューロンのチューニングが保存されているかどうかを経験的に評価すること。
• 「チューニングが重要である」対「幾何的構造があれば十分である」の両者の仮説を区別するための定量的ツールの提供。

提案手法

• 最適輸送理論を活用して、2つのネットワークのニューロン間のソフト置換（ソフトマッピング）を計算し、異なるサイズのネットワーク間でのマッチングを可能にする。
• チューニングカーブの経験的分布間のワサーライン距離として距離を定式化することで、対称性と三角不等式を保証する。
• 正則化された最適輸送問題を解くことでソフトマッチングを実現し、コスト行列にニューロン間のチューニングカーブ類似度を符号化する。
• ウィリアムズら[13]の置換に基づくプロクラステス法を、非整数で確率的なニューロン割り当てを許容するように一般化する。
• ニューロンインデックスの置換に対して不変であるが、回転に対して敏感であり、チューニングカーブの幾何的構造を保持する。
• 深層ニューラルネットワークとヒト視覚皮質のfMRIデータの表現を比較するためにこの手法を適用する。

Figure 1: (A) Example tuning curves from 3 neurons over a 1D stimulus space. (B) Manifold (black curve) arising from tuning curves from panel A in 3D neural firing rate space. Each coordinate axis encodes a single-neural firing rate, colored as in panel A. (C) A rotated manifold with the same shape

実験結果

リサーチクエスチョン

• RQ1 ニューロンインデックスの置換に対して不変でありながら、単一ニューロンのチューニングを捉える距離測度を開発できるか？
• RQ2 1対1ニューロンマッピングを、サイズが異なるネットワークへどのように一般化できるか？
• RQ3 ソフトマッチング距離は、回転不変な測度が見逃すニューラル表現の幾何的構造を明らかにできるか？
• RQ4 人工ネットワーク間および人工的・生物学的ニューラルネットワーク間で、単一ニューロンのチューニングが保存されているか？
• RQ5 標準的な線形予測性や回転不変な測度と比較して、ソフトマッチング距離はモデルのアーキテクチャと脳領域の違いをよりよく区別できるか？

主な発見

• ソフトマッチング距離は、最適輸送から導かれるソフトマッピングを用いて、サイズが異なるネットワークへの1対1マッピングを成功裏に一般化した。
• この距離測度は対称的であり、三角不等式を満たしており、距離空間における有効な距離としての資格を有する。
• CIFAR10およびCIFAR100において、ランダムシード、アーキテクチャ、トレーニング体制にかかわらず、活性化ベースの収束が再現可能であることが判明した。
• 脳ネットワークの比較において、ソフトマッチング距離は線形予測性を上回り、畳み込みネットワークとトランスフォーマーの区別に成功し、オブジェクト分類モデルとの類似性において腹側視覚ストリームが最良の一致であると特定した。
• CKA や RSA といった回転不変な測度では検出できなかった、モデルと脳の類似性における顕著な差異をこの距離測度は検出できた。
• 経験的結果は、人工的および生物学的ネットワーク間で単一ニューロンのチューニングが偶然以上のレベルで保存されていることを支持しており、幾何的構造を超えてチューニングそのものが重要である可能性を示唆している。

Figure 2: (A) One-to-one matching distance, schematized as alignment of $M$ points in $N$ -dimensional space by optimally permuting coordinate axes. Colors denote landmark labels (e.g. image labels) that are common across the two networks. (B) Dual perspective of one-to-one matching distance, schema