[論文レビュー] Global Convergence of Block Coordinate Descent in Deep Learning

Jinshan Zeng, Tim Tsz Kit Lau+2 more|arXiv (Cornell University)|Mar 1, 2018

Stochastic Gradient Optimization Techniques被引用数 34

ひとこと要約

この論文は、ReLU、シグモイド、リーダルネットワークを含む一般的に使用されるモデルにおける深層学習におけるブロック座標降下（BCD）法のグローバル収束を確立する。Kurdyka-Łojasiewicz不等式フレームワークを拡張することで、ブロック多凸性や微分可能性を仮定しない条件下でも、Lipschitz連続勾配の仮定のもとで、収束速度O(1/k)で臨界点に収束することを証明する。

ABSTRACT

Deep learning has aroused extensive attention due to its great empirical success. The efficiency of the block coordinate descent (BCD) methods has been recently demonstrated in deep neural network (DNN) training. However, theoretical studies on their convergence properties are limited due to the highly nonconvex nature of DNN training. In this paper, we aim at providing a general methodology for provable convergence guarantees for this type of methods. In particular, for most of the commonly used DNN training models involving both two- and three-splitting schemes, we establish the global convergence to a critical point at a rate of ${\cal O}(1/k)$, where $k$ is the number of iterations. The results extend to general loss functions which have Lipschitz continuous gradients and deep residual networks (ResNets). Our key development adds several new elements to the Kurdyka-Łojasiewicz inequality framework that enables us to carry out the global convergence analysis of BCD in the general scenario of deep learning.

研究の動機と目的

• ブロック座標降下（BCD）法が非凸的かつ非微分可能な設定において、深層ニューラルネットワーク（DNN）学習の理論的収束保証が不足しているという問題に取り組む。
• シグモイドのような一般的な活性化関数では成り立たない、ブロック多凸性や微分可能性の仮定に依存する従来の手法の制限を克服する。
• DNN学習目的関数の2分割および3分割定式化の両方に適用可能な一般化された収束フレームワークを提供する。
• 正則化付きの損失関数およびネットワークアーキテクチャ、特にリーダルネットワーク（ResNets）を含む広範なクラスにおいて、プロキシマルおよびプロキシマル線形戦略を用いたBCDの収束を確立する。

提案手法

• 深層学習目的関数の非凸的かつ非滑らかさを扱えるように、Kurdyka-Łojasiewicz（KŁ）不等式フレームワークを拡張する。
• ブロック多凸性に依存しない、有界集合上での活性化関数のLipschitz連続性に依存する、新たな分析技術を導入する。
• 特にReLUベースのネットワークに対して、非滑らかで正則化された目的関数を扱うために、プロキシマルBCD戦略を適用する。
• 任意の損失関数に対して、勾配がLipschitz連続であると仮定したもとで、プロキシマル線形スキームの収束解析を一般化する。
• 同じ仮定のもとで、深層リーダルネットワーク（ResNets）に対しても収束を証明するため、フレームワークを適応する。
• 実装および理論的解析を可能にするために、一般的な損失関数（例：二乗損失、ハッジ損失）の閉形式プロキシマル演算子を用いる。

実験結果

リサーチクエスチョン

• RQ1 ブロック多凸性や微分可能性を仮定しない条件下でも、深層ニューラルネットワークにおけるBCDのグローバル収束を確立できるか？
• RQ2 活性化関数および損失関数にどのような条件が課されると、DNN学習におけるBCDのグローバル収束が保証されるか？
• RQ3 DNN目的関数の2分割および3分割定式化の両方において、O(1/k)の収束速度が成立するか？
• RQ4 提案されたフレームワークをリーダルネットワーク（ResNets）および一般損失関数に拡張可能か？
• RQ5 有界集合上での活性化関数のLipschitz連続性が、非滑らかで非凸な設定における収束解析をどのように可能にするか？

主な発見

• 本論文は、ReLUおよびシグモイド活性化関数を含む、一般的に使用されるDNN学習モデルの多くについて、BCDが臨界点にO(1/k)の速度でグローバル収束することを確立する。
• 収束は、損失関数がLipschitz連続勾配を持つこと、および活性化関数が有界集合上でLipschitz連続であることの仮定のもとで証明される。
• このフレームワークは、DNN目的関数の2分割および3分割定式化の両方に適用可能であり、広範な学習設定をカバーする。
• 解析は深層リーダルネットワーク（ResNets）にまで拡張され、同じ仮定のもとでBCDがグローバルに収束することを示している。
• プロキシマルおよびプロキシマル線形戦略の両方がグローバルに収束することが示され、特に正則化問題に対してプロキシマル法が顕著に有効である。
• 実験結果は、vanishing gradientsのためSGDに失敗する場合でも、BCDが深層MLP（例：MNIST上の10層ネットワーク）の学習でvanilla SGDを上回ることを確認している。