[論文レビュー] Convergence of a Relaxed Variable Splitting Method for Learning Sparse Neural Networks via $\ell_1, \ell_0$, and transformed-$\ell_1$ Penalties

Thu Dinh, Jack Xin|arXiv (Cornell University)|Dec 13, 2018

Machine Learning and ELM参考文献 24被引用数 5

ひとこと要約

本稿では、$β$-正則化された$Â𝕎_1$、$Â𝕎_0$、および変換済み$Â𝕎_1$正則化項を用いた、スパースな1層隠れ層ReLU畳み込みニューラルネットワークの学習を、しきい値処理と勾配降下法を組み合わせた緩和変数分割法（RVSM）によって実現する。ガウス分布に従う入力のもとで、真の重みベクトルに高い確率で近い極限点へのグローバル収束を証明し、新規のしきい値処理によりトレーニング中にスパース性が自然に出現することを示す。

ABSTRACT

Sparsification of neural networks is one of the effective complexity reduction methods to improve efficiency and generalizability. We consider the problem of learning a one hidden layer convolutional neural network with ReLU activation function via gradient descent under sparsity promoting penalties. It is known that when the input data is Gaussian distributed, no-overlap networks (without penalties) in regression problems with ground truth can be learned in polynomial time at high probability. We propose a relaxed variable splitting method integrating thresholding and gradient descent to overcome the lack of non-smoothness in the loss function. The sparsity in network weight is realized during the optimization (training) process. We prove that under $\ell_1, \ell_0$; and transformed-$\ell_1$ penalties, no-overlap networks can be learned with high probability, and the iterative weights converge to a global limit which is a transformation of the true weight under a novel thresholding operation. Numerical experiments confirm theoretical findings, and compare the accuracy and sparsity trade-off among the penalties.

研究の動機と目的

• 非滑らかなスパース性誘導正則化項の下で、スパースな1層隠れ層ReLU畳み込みニューラルネットワークを、証明可能な収束性を備えた方法で学習する。
• 標準的な勾配降下法が原点で滑らかでない損失関数を扱えなくなる問題を、変数分割フレームワークにしきい値処理を統合することで克服する。
• ニューラルネットワークのスパース化の文脈において、$ÂWnd_1$、$ÂWnd_0$、および変換済み$ÂWnd_1$正則化項の理論的収束保証を確立する。
• 後処理によるプルーニングではなく、最適化プロセス中に自然にスパース性が出現することを示す。
• VGG-16およびResNet18における実験的評価を通じて、正則化項ごとの精度とスパース性のトレードオフを比較する。

提案手法

• 非滑らかさに対処するため、重み更新を勾配降下ステップとしきい値処理の2段階に分離する緩和変数分割法（RVSM）を提案する。
• $ÂWnd_1$、$ÂWnd_0$、および変換済み$ÂWnd_1$正則化項をラグランジュ形式に統合し、ネットワーク重みのスパース性を促進する。
• $ÂWnd_0$正則化のモレウ・エンvelopeに基づく新規なしきい値処理を導出し、非凸スパース性を近似しながら微分可能性を維持する。
• 重み空間における角度と降下性の幾何的議論を用いて、原点での微分不可能性にもかかわらず収束を証明する。
• ガウス入力分布のもとで、既知の損失関数の幾何的性質を活用し、母集団損失関数に適用する。
• 各層を独立に処理することで、深層ネットワークへの応用を可能とし、VGG-16およびResNet18への適用を実現する。

実験結果

リサーチクエスチョン

• RQ1 緩和変数分割法にしきい値処理と勾配降下法を組み合わせたRVSMは、$ÂWnd_1$、$ÂWnd_0$、および変換済み$ÂWnd_1$正則化項の下で、スパースニューラルネットワーク学習に対してグローバル収束を示せるか？
• RQ2 提案されたRVSMはプルーニングを伴わずにトレーニング中にスパース性を達成できるか？また、ガウス分布のもとで真の重みベクトルを高確率で回復できるか？
• RQ3 $ÂWnd_1$、$ÂWnd_0$、および変換済み$ÂWnd_1$正則化項の下で、収束性と最終的なスパース性は、精度とスパース性のトレードオフの観点からどのように比較されるか？
• RQ4 RVSMはVGG-16やResNet18のような深層ネットワークに拡張可能か？スパース性と性能を維持できるか？
• RQ5 提案手法のもとで、極限重みベクトルと真の重みとの間の理論的誤差バウンドは何か？

主な発見

• ガウス入力のもとで、RVSMは新規なしきい値処理の下で、真の重みベクトルの変換形に高確率で収束するグローバル極限点に収束することが証明された。
• 極限重みベクトルは真の重み$\boldsymbol{w}^*$から$O(k\beta\sin\gamma)$の距離にあり、真の値からの定量的誤差推定が確立された。
• VGG-16における数値実験では、$ÂWnd_0$正則化が86.89%の最高スパース性（精度損失は92.54%）を達成した一方、$ÂWnd_1$は35.68%のスパース性で最高の精度（93.7%）を維持した。
• ResNet18では、$ÂWnd_0$正則化を用いたRVSMが93.70%のスパース性を達成し、ADMM（47.08%スパース性）を大きく上回りながら、精度（94.89% vs. 94.84%）は同等を維持した。
• 本手法は層ごとに独立したスパース化を可能とし、アーキテクチャの変更なしに深層ネットワークに適用可能である。
• 理論的収束は、原点での微分不可能性を克服するための角度と降下性に関する幾何的議論に依拠している。