[論文レビュー] Representational dissimilarity metric spaces for stochastic neural networks

Lyndon Duong, Jingyang Zhou+4 more|arXiv (Cornell University)|Nov 21, 2022

Morphological variations and asymmetry被引用数 9

ひとこと要約

本論文は、ノイズ構造とニューラル応答の分散を考慮するために、決定論的形状メトリクスを一般化することで、確率的ニューラルネットワークの表現的不一致尺度空間を導入する。提案されたメトリクスは三角不等式を満たし、神経生物学的視覚刺激表現が、訓練前および訓練済みの深層ネットワークと同様に確率的幾何学的性質を示すことを明らかにした。これにより、確率的形状空間からのネットワークハイパーパrameterの予測が向上した。

ABSTRACT

Quantifying similarity between neural representations -- e.g. hidden layer activation vectors -- is a perennial problem in deep learning and neuroscience research. Existing methods compare deterministic responses (e.g. artificial networks that lack stochastic layers) or averaged responses (e.g., trial-averaged firing rates in biological data). However, these measures of _deterministic_ representational similarity ignore the scale and geometric structure of noise, both of which play important roles in neural computation. To rectify this, we generalize previously proposed shape metrics (Williams et al. 2021) to quantify differences in _stochastic_ representations. These new distances satisfy the triangle inequality, and thus can be used as a rigorous basis for many supervised and unsupervised analyses. Leveraging this novel framework, we find that the stochastic geometries of neurobiological representations of oriented visual gratings and naturalistic scenes respectively resemble untrained and trained deep network representations. Further, we are able to more accurately predict certain network attributes (e.g. training hyperparameters) from its position in stochastic (versus deterministic) shape space.

研究の動機と目的

• 既存の表現的類似度メトリクスが確率的ニューラルネットワークにおけるノイズ構造を無視するという限界に対処すること。
• 三角不等式を満たす数学的に厳密なメトリクス空間を確率的表現に開発すること。
• 視覚刺激に対する神経生物学的および人工ニューラルネットワークの確率的幾何学的性質を比較すること。
• 決定論的表現空間ではなく、確率的表現空間を用いることで、ネットワーク属性（例：訓練ハイパーパrameter）の予測を改善すること。

提案手法

• 各入力を隠れ層活性化の確率分布としてモデル化することで、決定論的形状メトリクス（Williams et al., 2021）を確率的ネットワークに一般化する。
• 共分散行列上のBuresメトリクスを用いて、確率的ネットワーク間の距離関数を定義し、対称性および三角不等式を保証する。
• 非負性および三角不等式制約を満たすように、不正な距離行列を修復するために二次計画法を適用する。
• 特異値分解を介してBuresメトリクスを効率的に計算するために、直交Procrustes問題を用いる。
• 単調収束を保証するように、距離メトリクスを最適化するための主要化-最小化アルゴリズムを採用する。
• 合成データおよび視覚刺激応答からの実際の神経生物学的データを用いて、フレームワークの妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 非決定論的応答を示す確率的ニューラルネットワークにおいて、表現的不一致をどのように厳密に定量化できるか？
• RQ2 生物的ニューラル表現の確率的幾何学的性質が、人工的深層ネットワークのそれとどの程度類似しているか？
• RQ3 確率的形状空間は、決定論的表現と比較して、ネットワークハイパーパrameterの予測をどのように改善できるか？
• RQ4 ノイズ相関が、確率的ネットワークにおける神経表現間の識別可能性にどのように影響するか？

主な発見

• 方向性を持つ視覚グレーティングの神経生物学的表現の確率的幾何学的性質は、訓練前の深層ネットワークと密接に類似している。
• 自然主義的光景の表現の確率的幾何学的性質は、訓練済みの深層ネットワークとより密接に類似している。
• 確率的形状空間を用いることで、学習率や重み減衰などの訓練ハイパーパrameterの予測が、決定論的表現よりも正確に可能になった。
• 提案されたメトリクスは三角不等式を満たしており、クラスタリングや非パラメトリック回帰などの後続解析に理論的保証を提供できる。
• ノイズ相関構造は識別可能性に顕著な影響を及ぼし、一部の設定では識別能力を向上させ、他の設定では低下させる。
• フレームワークは決定論的形状メトリクスを一般化しており、ノイズが消滅する極限ではそれらに収束する。