[論文レビュー] Correlated Weights in Infinite Limits of Deep Convolutional Neural Networks

Adrià Garriga-Alonso, Mark van der Wilk|arXiv (Cornell University)|Jan 11, 2021

Stochastic Gradient Optimization Techniques参考文献 29被引用数 4

ひとこと要約

この論文では、平均プーリングのようなアーキテクチャ的変更に依存せず、相関のある重み事前分布を導入することで、無限に広い畳み込みニューラルネットワークにおける空間相関を維持することを提案している。無限大幅の極限において、独立な重みと平均プーリングの両者よりも中程度の重み相関が優れた性能を示すことが実証されており、局所接続型とプールドアーキテクチャが連続的なスケールに統合され、性能が向上している。

ABSTRACT

Infinite width limits of deep neural networks often have tractable forms. They have been used to analyse the behaviour of finite networks, as well as being useful methods in their own right. When investigating infinitely wide convolutional neural networks (CNNs), it was observed that the correlations arising from spatial weight sharing disappear in the infinite limit. This is undesirable, as spatial correlation is the main motivation behind CNNs. We show that the loss of this property is not a consequence of the infinite limit, but rather of choosing an independent weight prior. Correlating the weights maintains the correlations in the activations. Varying the amount of correlation interpolates between independent-weight limits and mean-pooling. Empirical evaluation of the infinitely wide network shows that optimal performance is achieved between the extremes, indicating that correlations can be useful.

研究の動機と目的

• 無限大幅CNNにおける空間相関の損失が、無限大極限の必然的結果であるかどうかを調査すること。
• 平均プーリングのようなアーキテクチャ的変更が、無限大幅CNNにおける空間相関の再導入に唯一の方法であるかどうかを特定すること。
• アーキテクチャの変更なしに、相関のある重み事前分布が無限大極限においても空間相関を維持できるかどうかを調査すること。
• 独立重みと平均プーリングの極端なケースと比較して、中程度の重み相関がより優れた性能を示すかどうかを実証的に評価すること。

提案手法

• 著者らは、CNNの既存の無限大幅極限フレームワークを拡張し、畳み込みフィルタ重みに相関構造をパrameter化した事前分布を導入した。
• この相関のある重み事前分布の下で、ネットワークの事前分布の無限大幅極限を導出し、活性化における空間相関が保持されることを示した。
• この手法により、単一の相関ハイパーパrameterを用いて、独立重み事前分布（局所接続ネットワーク）と平均プーリングの間を連続的に補間できるようになった。
• 理論的分析により、重みが相関している場合には制限されたカーネルが空間相関を保持する一方、標準的な独立事前分布の極限ではそのような保持が行われないことが示された。
• CIFAR-10とMNISTを用いた実証的評価が、無限大幅領域における正確なカーネル計算を用いて、相関レベルごとの性能を比較した。
• このアプローチにより、離散的なアーキテクチャ的選択（例：平均プーリング）に代えて、連続的なハイパーパrameterが導入され、将来的には勾配ベース最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 無限大幅CNNにおける空間相関の損失は、無限大極限の必然的結果であるのか、それとも独立重み事前分布の選択によるものなのか？
• RQ2 ネットワークアーキテクチャを変更せずに、無限大幅極限においても活性化における空間相関を維持できるか？
• RQ3 重み間の連続的な相関パラメータの導入が、独立重みや平均プーリングの極端なケースと比較して、より優れた性能をもたらすか？
• RQ4 最終層における平均プーリングという離散的なアーキテクチャ的選択を、中程度の相関レベルの連続的パラメータに置き換えても、性能の劣化が生じないか？
• RQ5 無限大ネットワークにおける相関のある重み事前分布が、有限幅ネットワークにおけるより良い事前分布や重み初期化法の設計にどのように寄与できるか？

主な発見

• 無限大幅CNNにおける空間相関の損失は、無限大極限そのものに起因するものではなく、独立重み事前分布の使用に起因する。
• 相関のある重み事前分布を導入することで、無限大幅極限においても活性化における空間相関が維持される。
• 実証的結果により、最適な性能は中程度の重み相関レベルで達成され、独立重みや平均プーリングを上回ることが示された。
• 最終層の平均プーリングを中程度の相関レベルに置き換えても性能の劣化が生じず、このアプローチの柔軟性が実証された。
• この手法により、局所接続ネットワークと平均プーリングアーキテクチャが連続的なスケールに統合され、中程度の相関レベルで性能がピークに達することがわかった。
• フレームワークにより、離散的なアーキテクチャ的選択から連続的なハイパーパramータ最適化に移行でき、より効率的なアーキテクチャ探索の道筋が示された。