[論文レビュー] Convergence of Deep ReLU Networks

Yuesheng Xu, Haizhang Zhang|arXiv (Cornell University)|Jul 27, 2021

Sparse and Compressive Sensing Techniques参考文献 21被引用数 5

ひとこと要約

この論文は、活性化領域と行列を導入することで、深さが無限大に近づく際の深層ReLUネットワークの収束条件を確立した。ネットワークの収束を無限大の行列積の収束に再定式化した。収束のためには重み行列が単位行列に収束し、バイアスベクトルがゼロに収束する必要があると証明し、残差ネットワーク（ResNets）の深層学習における成功の理論的裏付けを提供した。

ABSTRACT

We explore convergence of deep neural networks with the popular ReLU activation function, as the depth of the networks tends to infinity. To this end, we introduce the notion of activation domains and activation matrices of a ReLU network. By replacing applications of the ReLU activation function by multiplications with activation matrices on activation domains, we obtain an explicit expression of the ReLU network. We then identify the convergence of the ReLU networks as convergence of a class of infinite products of matrices. Sufficient and necessary conditions for convergence of these infinite products of matrices are studied. As a result, we establish necessary conditions for ReLU networks to converge that the sequence of weight matrices converges to the identity matrix and the sequence of the bias vectors converges to zero as the depth of ReLU networks increases to infinity. Moreover, we obtain sufficient conditions in terms of the weight matrices and bias vectors at hidden layers for pointwise convergence of deep ReLU networks. These results provide mathematical insights to the design strategy of the well-known deep residual networks in image classification.

研究の動機と目的

• 深さが無限大に近づく際の深層ReLUネットワークの収束を、特定のターゲット関数に依存せずに調査すること。
• 深層ReLUネットワークの出力が意味のある極限関数に安定する数学的条件を同定すること。
• 画像分類で最先端の性能を達成した深層残差ネットワーク（ResNets）の設計に対する理論的裏付けを提供すること。
• 活性化領域と活性化行列を導入することで、深層ReLUネットワークの振る舞いを形式化し、ネットワークダイナミクスの行列積表現を可能にすること。

提案手法

• ReLUネットワークが線形関数として動作する入力空間の部分集合（活性化領域）という概念を導入する。
• 各活性化領域におけるReLUユニットの状態を表す対角行列（要素が0または1）としての活性化行列を定義する。
• ReLUの適用を活性化行列を用いた行列乗算に置き換え、ネットワークを線形変換の合成として明示的に表現可能にする。
• 深層ReLUネットワークの収束を、活性化行列と重み行列の無限大の積の収束に再定式化する。
• 行列積の収束理論を適用し、収束の必要十分条件をノルムと和分可能性条件を用いて導出する。
• 誘導された行列ノルムと指数的バウンディングを用いて、重み行列とバイアスベクトルの和分可能な摂動下での無限大の積の収束を検証する。

実験結果

リサーチクエスチョン

• RQ1 深さが無限大に近づく際、重み行列とバイアスベクトルがどのような条件下で深層ReLUネットワークが点ごとの収束を示すか？
• RQ2 ReLU活性化が深層ネットワークに導入する非線形性を体系的に分析・表現する方法は何か？
• RQ3 残差ネットワーク（ResNets）が非常に深いアーキテクチャを可能にする背後にある数学的構造は何か？
• RQ4 深層ReLUネットワークの収束を、無限大の行列積の収束に還元できるか？
• RQ5 恒等写像は、学習および推論中に深層ReLUネットワークを安定化させる役割を果たすか？

主な発見

• 深層ReLUネットワークの収束に必要な条件は、重み行列の列が深さが増すにつれて単位行列に収束し、バイアスベクトルの列がゼロベクトルに収束することである。
• 点ごとの収束の十分条件は、重み行列が $\mathbf{W}_n = I + \mathbf{P}_n$ を満たし、$\sum_{n=2}^\infty \|\mathbf{P}_n\| < \infty$ であること、およびバイアスベクトルが $\sum_{n=1}^\infty \|\mathbf{b}_n\| < \infty$ を満たすことである。
• ネットワークの収束は、ノルムに基づく和分可能性条件を通じて確立された無限大の行列積の収束と同値である。
• ネットワーク出力の極限は $\lim_{n\to\infty} \mathbf{W}_n \mathbf{x} + \mathbf{b}_n = \mathbf{x}$ を満たし、深層部が次第に小さい恒等写像に近い変換を適用していることを示している。
• 理論的枠組みは、残差ブロックがゼロに近い小さな残差関数を学習するという残差ネットワーク設計を支持しており、実質的に恒等写像を近似している。
• 結果として、残差構造が勾配の安定な流れと収束を保証するため、ResNetsが極めて深い層数（例：1000層以上）で成功裏に学習可能である数学的根拠が得られた。