[論文レビュー] Generalized Shape Metrics on Neural Representations

Alex H. Williams, Erin M. Kunz+2 more|PubMed|Oct 27, 2021

Morphological variations and asymmetry参考文献 1被引用数 21

ひとこと要約

本論文は、三角不等式を満たすことで数学的厳密性を保証する、ニューラルネットワークにおける表現的相違度を定量化する一般化された距離空間の枠組みを導入する。標準的相関分析（CCA）の修正と畳み込み層に配慮した距離関数の導入により、数千もの人工的および生物学的ネットワークに対する頑健で解釈可能な分析が可能となり、神経科学（Allen Brain Observatory）および深層学習（NAS-Bench-101）の大規模データセットを用いた実証的検証により、解剖的階層構造や性能相関の予測力が強く示された。

ABSTRACT

Understanding the operation of biological and artificial networks remains a difficult and important challenge. To identify general principles, researchers are increasingly interested in surveying large collections of networks that are trained on, or biologically adapted to, similar tasks. A standardized set of analysis tools is now needed to identify how network-level covariates-such as architecture, anatomical brain region, and model organism-impact neural representations (hidden layer activations). Here, we provide a rigorous foundation for these analyses by defining a broad family of metric spaces that quantify representational dissimilarity. Using this framework, we modify existing representational similarity measures based on canonical correlation analysis and centered kernel alignment to satisfy the triangle inequality, formulate a novel metric that respects the inductive biases in convolutional layers, and identify approximate Euclidean embeddings that enable network representations to be incorporated into essentially any off-the-shelf machine learning method. We demonstrate these methods on large-scale datasets from biology (Allen Institute Brain Observatory) and deep learning (NAS-Bench-101). In doing so, we identify relationships between neural representations that are interpretable in terms of anatomical features and model performance.

研究の動機と目的

• 大規模な人工的および生物学的ネットワークの集合にわたるニューラル表現の比較のための数学的に厳密な枠組みを構築すること。
• 三角不等式を違反する既存の類似度測定法の限界を克服し、下流の機械学習ワークフローへの支障を解消すること。
• 畳み込みニューラルネットワークのインダクティブバイアスに特化した新しい距離関数を構築すること。
• ニューラル表現の距離空間を低歪みのユークリッド埋め込みに変換し、標準の機械学習手法との統合を可能にすること。
• 神経科学（Allen Brain Observatory）および深層学習（NAS-Bench-101）の大規模データセットを用いて、本枠組みの有効性を実証すること。

提案手法

• 対称性および三角不等式を満たす距離空間の広い族を定義し、既存の表現的類似度測定法を適切な距離関数に変換する。
• k-NNおよび階層的クラスタリングにおける理論的保証を得るために、標準的相関分析（CCA）を距離関数の性質を満たすように修正する。
• 畳み込み層のインダクティブバイアスを尊重する新しい距離関数を提案し、アーキテクチャのインダクティブバイアスとの整合性を向上させる。
• 多次元尺度構成（MDS）を用いて、最小の歪みでニューラル表現の距離空間を低次元ユークリッド空間に埋め込む。
• MDS埋め込みにカーネルリッジ回帰を適用し、神経データの機能的応答から構造的特徴（例：解剖的階層）を予測する。
• 埋め込み距離空間上で、標準の機械学習パイプライン（クラスタリング、回帰、分類など）を活用し、スケーラブルな分析を実現する。

実験結果

リサーチクエスチョン

• RQ1 既存の表現的類似度測定法を、三角不等式を満たす適切な距離空間へ体系的に変換できるか？
• RQ2 畳み込み層のインダクティブバイアスを尊重するように、ニューラル表現の距離空間をどのように構築できるか？
• RQ3 ニューラル表現の距離空間を、低次元ユークリッド空間に歪みが小さい範囲で埋め込むことはどの程度可能か？
• RQ4 これらの埋め込みにより、数千ものネットワークの新たなスケーラブルな分析が可能になるか、例えばマウス視覚皮質の機能的応答から解剖的階層を予測できるか？
• RQ5 大規模な人工ネットワーク集合における、初期層と深層の表現の間にどのような関係が存在するか？

主な発見

• 提案された枠組みにより、非距離的類似度測定法が適切な距離関数に変換され、k-NNや階層的クラスタリングにおける信頼性の高い使用が可能になった。
• 新規に提案された畳み込み層に配慮した距離関数は、アーキテクチャのインダクティブバイアスを捉え、CNNにおける表現の整合性を向上させた。
• L=20の埋め込み次元で得られた多次元尺度構成（MDS）は、L=2の場合よりも、可視化および回帰タスクの両方で真の距離空間のより良い近似を達成した。
• MDS埋め込みにカーネルリッジ回帰を適用した結果、マウス視覚皮質の視覚応答から解剖的階層スコアを強く予測する性能が得られ、誤差棒は100回のMDSランの間での一貫性を示した。
• NAS-Bench-101において、43万2千のアーキテクチャにわたって、初期層と深層の表現の間に驚くべき高い相関が確認され、共通の表現的ダイナミクスが示唆された。
• 本枠組みにより、大規模なニューラルネットワーク集合に対するスケーラブルで解釈可能な分析が可能となり、回帰やクラスタリングなどの標準的な機械学習パイプラインへの直接統合が実現した。