[論文レビュー] Inductive Bias of Multi-Channel Linear Convolutional Networks with Bounded Weight Norm

Meena Jagadeesan, Ilya Razenshteyn+1 more|arXiv (Cornell University)|Feb 24, 2021

Sparse and Compressive Sensing Techniques参考文献 28被引用数 6

ひとこと要約

本稿は、重みノルムが有界である多チャネル線形畳み込みネットワークの帰納的バイアスを、関数空間における誘導正則化子を導出することで特徴づける。単一チャネル入力の場合、正則化子は出力チャネル数 C に依存せず、半定値計画問題（SDP）を形成する。多チャネル入力の場合、バイアスは C に依存するが、C が十分に大きいと SDP に安定化し、核ノルム（K=1）および ℓ₂,₁ グループスパースノルム（K=D）の閉形式解をとる。

ABSTRACT

We provide a function space characterization of the inductive bias resulting from minimizing the $\ell_2$ norm of the weights in multi-channel convolutional neural networks with linear activations and empirically test our resulting hypothesis on ReLU networks trained using gradient descent. We define an induced regularizer in the function space as the minimum $\ell_2$ norm of weights of a network required to realize a function. For two layer linear convolutional networks with $C$ output channels and kernel size $K$, we show the following: (a) If the inputs to the network are single channeled, the induced regularizer for any $K$ is independent of the number of output channels $C$. Furthermore, we derive the regularizer is a norm given by a semidefinite program (SDP). (b) In contrast, for multi-channel inputs, multiple output channels can be necessary to merely realize all matrix-valued linear functions and thus the inductive bias does depend on $C$. However, for sufficiently large $C$, the induced regularizer is again given by an SDP that is independent of $C$. In particular, the induced regularizer for $K=1$ and $K=D$ (input dimension) is given in closed form as the nuclear norm and the $\ell_{2,1}$ group-sparse norm, respectively, of the Fourier coefficients of the linear predictor. We investigate the broader applicability of our theoretical results to implicit regularization from gradient descent on linear and ReLU networks through experiments on MNIST and CIFAR-10 datasets.

研究の動機と目的

• 重みノルムの ℓ₂ 最小化が、多チャネル線形畳み込みネットワークの学習された予測関数空間に与える影響を理解すること。
• ネットワークアーキテクチャ、特にカーネルサイズ K と出力チャネル数 C に応じて、関数を実現するために必要な重みの最小 ℓ₂ ノルム（誘導正則化子）としての特徴づけをすること。
• 単一または多チャネル入力において、出力チャネル数 C を増加させることで表現効率が向上するかを調査すること。
• 理論的発見の一般化可能性を、ReLUネットワークにおける勾配降下の暗黙的正則化に適用できるかを検証すること。
• MNIST および CIFAR-10 を用いた実験を通じて、理論的予測の妥当性を検証すること。線形および ReLU ネットワークを用いる。

提案手法

• 関数 f を与えられたネットワークアーキテクチャ Φ を用いて実現するために必要な重みの ℓ₂ ノルムの下界を、誘導正則化子 RΦ(f) として定義する。
• C 個の出力チャネルを有する2層線形畳み込みネットワークにおいて、単一チャネル入力の場合、R×(K,C) は半定値計画問題（SDP）として導出され、C に依存しないことが示される。
• 畳み込みの多項式表現を用いて、SDP緩和のタイトネスを証明し、ランク1の最適解が存在することを確立する。
• 多チャネル入力の場合、すべての行列値線形関数を実現するために C が不可欠であるが、十分に大きな C に対しては、誘導正則化子が C に依存しない SDP に安定化することを示す。
• 極端なカーネルサイズにおける誘導正則化子の閉形式表現を導出する：K=1 の場合、核ノルム；K=D（入力次元）の場合、ℓ₂,₁ ノルム。
• MNIST および CIFAR-10 を用いた実験を通じて、理論的予測の妥当性を検証する。勾配降下の解を、明示的な最小ノルム予測子（ℓ₂,₁、ℓ₁、ℓ₂）と比較する。

実験結果

リサーチクエスチョン

• RQ1 重みノルムが有界な線形畳み込みネットワークにおいて、出力チャネル数 C は誘導正則化子にどのように影響するか？
• RQ2 単一チャネル入力において、表現コスト（重みの最小 ℓ₂ ノルム）は C に依存しないか？
• RQ3 多チャネル入力の誘導正則化子は C に依存するか？もしそうであれば、どのような条件下で安定化するか？
• RQ4 理論的誘導正則化子は、ReLU ネットワークにおける勾配降下で観測される暗黙的バイアスを予測できるか？
• RQ5 カーネルサイズ K と入力チャネル構造は、学習済み予測子におけるスパarsity およびチャネル間類似性にどのように影響するか？

主な発見

• 単一チャネル入力の場合、誘導正則化子は出力チャネル数 C に依存せず、カーネルサイズ K に関係なく不変である。
• 単一チャネル入力の誘導正則化子は、すべての C ≥ 1 に対してタイトな半定値計画問題（SDP）として与えられる。
• 多チャネル入力の場合、誘導正則化子は C に依存するが、C が十分に大きいと、C に依存しない SDP に収束する。
• K=1 の場合、誘導正則化子は線形予測子のフーリエ係数の核ノルムに等しい。
• K=D（入力次元）の場合、誘導正則化子はフーリエ係数の ℓ₂,₁ グループスパースノルムに等しい。
• MNIST および CIFAR-10 を用いた実験では、過パラメータ化されたネットワークにおける勾配降下が、周波数ドメインにおけるスパarsity とチャネル間類似性を示す予測子を生成することが確認され、特にカーネルサイズが大きい場合、理論的予測と整合的である。