[論文レビュー] A Proximal Block Coordinate Descent Algorithm for Deep Neural Network Training

Tim Tsz-Kit Lau, Jinshan Zeng+2 more|arXiv (Cornell University)|Mar 24, 2018

Sparse and Compressive Sensing Techniques被引用数 14

ひとこと要約

本稿では、二乗ペナルティ法を用いてDNN最適化問題を再定式化し、活性化関数を凸集合への射影としてモデル化することで、深層ニューラルネットワーク（DNN）の訓練のための新規なプロキシマルブロック座標降下（PBCD）アルゴリズムを提案する。この手法により、Kurdyka-Łojasiewicz（KL）性質のもとでグローバル収束が保証され、MNISTなどの標準データセットにおいて、バックプロパゲーションに伴うSGDと比較して、より少ないエポック数で競争力ある訓練効率を達成する。

ABSTRACT

Training deep neural networks (DNNs) efficiently is a challenge due to the associated highly nonconvex optimization. The backpropagation (backprop) algorithm has long been the most widely used algorithm for gradient computation of parameters of DNNs and is used along with gradient descent-type algorithms for this optimization task. Recent work have shown the efficiency of block coordinate descent (BCD) type methods empirically for training DNNs. In view of this, we propose a novel algorithm based on the BCD method for training DNNs and provide its global convergence results built upon the powerful framework of the Kurdyka-Lojasiewicz (KL) property. Numerical experiments on standard datasets demonstrate its competitive efficiency against standard optimizers with backprop.

研究の動機と目的

• バックプロパゲーションに内在する消失勾配問題に起因する非凸最適化の挑戦に対処すること。
• 勾配に依存しないブロック座標降下（BCD）に基づく最適化手法を開発し、消失勾配を回避するとともに、効率的な訓練を可能にすること。
• Kurdyka-Łojasiewicz（KL）性質の枠組みを用いて、提案手法のグローバル収束を確立すること。
• ベンチマークデータセット上で、標準的なバックプロパゲーションとSGDの性能と比較して、競争力ある訓練効率を示すこと。

提案手法

• DNN訓練問題を二乗ペナルティ法を用いて再定式化し、ネスト構造を別々で緩く結合された部分問題に展開する。
• 活性化関数を空でない閉凸集合への射影としてモデル化することで、損失関数をブロック多凸形式に変換する。
• 変数ブロック（活性化、重み、バイアス、補助変数）を逐次的に更新するガウス＝ザイデル型のプロキシマルブロック座標降下スキームを適用する。
• 重み、バイアス、活性化、補助変数を含むすべての変数ブロックに対してプロキシマルステップを用いることで、安定性と収束性を保証する。
• グローバル収束と収束速度解析を確立するために、Kurdyka-Łojasiewicz（KL）性質を用いる。
• KL指数に基づく収束速度を導出：関数の幾何的性質に応じて、有限（θ=0）、線形（θ∈(0,1/2]）、または部分線形（θ∈(1/2,1)）のいずれかの収束速度を示す。

実験結果

リサーチクエスチョン

• RQ1 KL性質の枠組みのもとで、プロキシマルブロック座標降下法が深層ニューラルネットワークの訓練に対してグローバル収束を達成できるか？
• RQ2 提案されたPBCDアルゴリズムは、1エポックあたりの訓練効率において、標準的なバックプロパゲーションとSGDを上回るか？
• RQ3 すべての変数ブロック（活性化関数やバイアスを含む）に対してプロキシマルステップを用いることで、収束性と性能にどのような影響を与えるか？
• RQ4 損失関数の異なる幾何的条件のもとで、PBCDアルゴリズムの収束速度挙動はどのように変化するか？
• RQ5 提案手法は、バックプロパゲーションに内在する消失勾配問題を効果的に回避できるか？

主な発見

• 提案されたPBCDアルゴリズムは、Kurdyka-Łojasiewicz（KL）性質のもとで、深層ニューラルネットワークのグローバル収束を達成し、臨界点への収束を保証する。
• アルゴリズムは競争力ある訓練効率を示し、MNISTでバックプロパゲーションとSGDを用いた場合と比較して、同等のテスト精度に到達するためのエポック数を著しく削減する。
• 784-2048-2048-2048-10のMLPにおいて、BCDは30エポックで最終的なテスト精度94.58％を達成し、SGDが100エポックで達成した95.33％の精度と同等の性能を示した。
• スキップ接続を備えた784-2048-784-2048-10のResNetにおいて、BCDは20エポックで95.37％のテスト精度を達成し、SGDが100エポックで達成した95.33％の精度と同等の性能を示した。
• PBCDアルゴリズムの収束速度はKL指数に依存し、有限（θ=0）、線形（θ∈(0,1/2]）、または部分線形（θ∈(1/2,1)）のいずれかの形を取る。明示的な境界が導出された。
• 活性化関数やバイアスを含むすべての変数ブロックに対してプロキシマルステップを用いることで、勾配計算に依存せず、安定的かつ効率的な更新が可能になった。