[論文レビュー] Symmetry-via-Duality: Invariant Neural Network Densities from Parameter-Space Correlators

Anindita Maiti, Keegan Stoner+1 more|arXiv (Cornell University)|Jun 1, 2021

Neural Networks and Applications被引用数 10

ひとこと要約

本稿では、密度が未知または非等変な場合でも、パラメータ空間で計算された相関関数を用いてニューラルネットワーク密度の対称性を特定する手法である「双対性による対称性（symmetry-via-duality）」を導入する。主な貢献は、これらの相関関数が変換に対して不変であることに基づき、入力および出力の対称性が明らかになることである。これは無限幅極限（ガウス過程の結果を回復）および有限幅の学習において検証されており、対称性の破れが真の構造と整合している場合にのみ性能向上に寄与することを示している。

ABSTRACT

Parameter-space and function-space provide two different duality frames in which to study neural networks. We demonstrate that symmetries of network densities may be determined via dual computations of network correlation functions, even when the density is unknown and the network is not equivariant. Symmetry-via-duality relies on invariance properties of the correlation functions, which stem from the choice of network parameter distributions. Input and output symmetries of neural network densities are determined, which recover known Gaussian process results in the infinite width limit. The mechanism may also be utilized to determine symmetries during training, when parameters are correlated, as well as symmetries of the Neural Tangent Kernel. We demonstrate that the amount of symmetry in the initialization density affects the accuracy of networks trained on Fashion-MNIST, and that symmetry breaking helps only when it is in the direction of ground truth.

研究の動機と目的

• 密度が未知または非等変な状況下でニューラルネットワーク密度の対称性を特定する手法を開発すること。
• パラメータ空間と関数空間の記述の間の双対性フレームワークを構築し、ニューラルネットワークの対称性解析に用いること。
• パラメータ空間における相関関数の不変性から、ネットワーク密度の対称性を抽出できることを示すこと。
• 初期化における対称性の影響が有限幅ネットワークにおける一般化性能に与える影響を、特にFashion-MNIST上でテストすること。
• 訓練中における対称性の分析およびニューラルタングエントランスカーネル（NTK）へのフレームワークの拡張を行うこと。

提案手法

• パラメータ空間と関数空間の双対性を活用して、ニューラルネットワーク密度の対称性を解析する。
• パラメータ空間におけるネットワーク出力の相関関数を、変換に対する不変性に依存して対称性のプローブとして用いる。
• 無限幅極限（ガウス過程の結果を回復）および有限幅ネットワークの両方において、入力および出力の対称性を同定するためにこの手法を適用する。
• 格子場理論の類似を用いて離散的入力集合上に関数的密度を定義し、非ガウス過程の厳密な解釈を可能にする。
• Fashion-MNISTにおける実験的学習を用いて、初期化の対称性がテスト精度に与える影響を検証する。
• 訓練中のニューラルタングエントランスカーネル（NTK）およびパラメータ相関を分析し、対称性の進化を評価する。

Figure 1: Test accuracy %age on Fashion-MNIST. (Left): Dependence on symmetry breaking parameters $\mu_{W}$ and $k$ for one-hot encoded labels. The error is presented in Appendix ( D ). (Right): Dependence on $\mu_{W}$ for one-cold encoded labels, showing the $95\%$ confidence interval.

実験結果

リサーチクエスチョン

• RQ1 密度が未知で、かつネットワークが非等変であっても、ニューラルネットワーク密度の対称性を特定できるか？
• RQ2 パラメータ空間における相関関数の不変性が、関数的密度の入力および出力対称性をどのように明らかにするか？
• RQ3 有限幅ニューラルネットワークにおける一般化性能において、初期化密度の対称性が果たす役割は何か？
• RQ4 訓練中に生じる対称性の破れが性能に与える影響は何か？どのような条件下でそれが有益となるか？
• RQ5 双対性フレームワークは、訓練中のニューラルタングエントランスカーネルおよびパラメータ相関の対称性解析に適用可能か？

主な発見

• 密度の事前知識やネットワークの等変性を必要とせず、パラメータ空間における相関関数の不変性に基づき、ニューラルネットワーク密度の対称性が的確に同定された。
• 無限幅極限において、既知のガウス過程の結果が回復され、従来の理論と整合していることが検証された。
• 有限幅ネットワークでは、初期化密度の対称性の程度がFashion-MNISTにおけるテスト精度に直接的な影響を与え、対称性が高いほど性能が向上した。
• 訓練中に生じる対称性の破れが一般化性能を向上させるのは、真のデータ構造と整合している場合に限る。これは、誘導的バイアスが物理的に意味を持つ必要があることを示唆している。
• フレームワークはニューラルタングエントランスカーネルおよび訓練中のパラメータ相関にも適用可能であり、対称性の性質が動的に進化し、双対性を用いて解析可能であることが示された。
• 数値実験により、低スケールでの期待される対称性のずれは、根本的な対称性の破れではなく、有限サンプルのゆらぎに起因することが確認された。

Figure 2: Variation measures of $2$ -pt and $4$ -pt functions and their predicted error bounds, for $SO(3)$ and $SO(5)$ transformations of $D=3$ and $D=5$ networks, respectively.