[論文レビュー] Convergent Block Coordinate Descent for Training Tikhonov Regularized Deep Neural Networks

Ziming Zhang, Matthew Brand|arXiv (Cornell University)|Nov 20, 2017

Stochastic Gradient Optimization Techniques参考文献 32被引用数 25

ひとこと要約

本稿では、Tikhonov正則化を施したReLU活性化関数を用いた深層ニューラルネットワーク（DNN）の学習に向け、収束性を保証するブロック座標降下（BCD）アルゴリズムを提案する。非凸最適化問題を、ReLUを高次元空間に埋め込むことで多凸最適化問題に再定式化することで、全空間での収束を保証する。本手法は、R線形収束率を達成し、MNISTデータセットにおいてSGDより優れたテスト誤差率を達成しており、一般化性能の向上を示している。

ABSTRACT

By lifting the ReLU function into a higher dimensional space, we develop a smooth multi-convex formulation for training feed-forward deep neural networks (DNNs). This allows us to develop a block coordinate descent (BCD) training algorithm consisting of a sequence of numerically well-behaved convex optimizations. Using ideas from proximal point methods in convex analysis, we prove that this BCD algorithm will converge globally to a stationary point with R-linear convergence rate of order one. In experiments with the MNIST database, DNNs trained with this BCD algorithm consistently yielded better test-set error rates than identical DNN architectures trained via all the stochastic gradient descent (SGD) variants in the Caffe toolbox.

研究の動機と目的

• ReLU活性化関数を用いたDNNの学習における非凸性と消失勾配問題に対処すること。
• 局所最適解や鞍点を回避できる、DNNの全空間収束性を保証する最適化手法の開発。
• Tikhonov正則化を用いた多凸問題としての学習定式化により、一般化性能の向上。
• DNN設定下におけるブロック座標降下（BCD）アルゴリズムの理論的収束保証（R線形収束率）の提供。
• 提案手法が、テスト精度において標準的なSGDベースのソルバーを上回ることを実験的に検証すること。

提案手法

• ReLU活性化関数を高次元空間に埋め込むことで、DNN学習問題の滑らかで多凸な定式化を実現。
• ネットワーク構造と重みを符号化するTikhonov正則化行列を導入し、目的関数の構造的分解を可能に。
• 学習目的関数を3つの凸部分問題に分解：Tikhonov正則化付き逆問題、最小二乗回帰、分類器学習。
• 隠れユニット重み、出力重み、ネットワークパラメータの3つのブロックを逐次最適化することで、ブロック座標降下（BCD）を適用。
• 各部分最適化ステップの数値的安定性と収束性を保証するため、プロキシマル点法のアイデアを活用。
• 収束を保証するためのラインサーチ戦略を採用し、ステップサイズを段階的に減少。理論的分析により、収束率が1次のR線形収束であることを示した。

実験結果

リサーチクエスチョン

• RQ1 ReLUベースのDNNのTikhonov正則化と多凸再定式化により、学習における全空間収束が可能か？
• RQ2 この再定式化問題にブロック座標降下（BCD）を適用した場合、理論的収束率が保証された全空間収束が可能か？
• RQ3 本手法は、テスト精度と一般化性能の面で、標準的なSGDベースの学習を上回るか？
• RQ4 本手法は、深層ネットワークにおける消失勾配問題をどのように緩和するか？
• RQ5 提案された定式化下で、BCDアルゴリズムの収束率が1次R線形収束であるか？

主な発見

• 提案されたBCDアルゴリズムは、プロキシマル点法の解析により、1次R線形収束率で全空間に収束し、静止点に到達することが理論的に証明された。
• 数値的安定性に優れ、各部分問題内での長距離依存性のモデル化により、消失勾配問題に影響されない。
• MNISTデータセットにおいて、Caffeツールボックスに内蔵されたすべてのSGDバージョンで学習された同型のネットワークと比較して、BCDで学習したDNNは一貫して低いテスト誤差率を達成した。
• Tikhonov正則化行列は、ネットワーク構造とパrameterizationを効果的に符号化でき、目的関数の構造的で凸な分解を可能にした。
• 本アルゴリズムは、密結合型およびスパースなDNNの両方の学習に適しており、ネットワークトポロジーの多様性を示した。
• 各部分問題が一意の解を持つものと仮定した場合に収束解析が成立し、ステップサイズのシーケンスが特定の減少条件（例：θt = 1/t^p かつ p > 1）を満たす必要がある。