[論文レビュー] BDA-PCH: Block-Diagonal Approximation of Positive-Curvature Hessian for Training Neural Networks.

Shengwei Chen, Chun‐Nan Chou+1 more|arXiv (Cornell University)|Feb 19, 2018

3D Shape Modeling and Analysis参考文献 1被引用数 5

ひとこと要約

本稿では、2回微分可能な活性化関数および損失関数を備えた全結合ニューラルネットワークの学習を目的として、正の曲率ヘシアンのメモリ効率の良いブロック対角近似であるBDA-PCHを提案する。ミニバッチ設定下で共役勾配法を活用することで、特に非凸目的関数において、競合する2次最適化手法よりも高速な収束を実現する。

ABSTRACT

We propose a block-diagonal approximation of the positive-curvature Hessian (BDA-PCH) matrix to measure curvature. Our proposed BDAPCH matrix is memory efficient and can be applied to any fully-connected neural networks where the activation and criterion functions are twice differentiable. Particularly, our BDA-PCH matrix can handle non-convex criterion functions. We devise an efficient scheme utilizing the conjugate gradient method to derive Newton directions for mini-batch setting. Empirical studies show that our method outperforms the competing second-order methods in convergence speed.

研究の動機と目的

• ニューラルネットワーク学習における2次最適化のための、メモリ効率の良い曲率近似手法の開発。
• ディープラーニングで一般的に見られる非凸損失関数への2次最適化の拡張。
• ミニバッチ設定下で、曲率近似を用いてニュートン方向を効率的に計算することの実現。
• 低メモリ使用量を維持しつつ、既存の2次最適化手法よりも収束速度を向上させること。

提案手法

• 計算コストとメモリ使用量を削減するため、正の曲率ヘシアンのブロック対角近似（BDA-PCH）を提案する。
• ミニバッチ学習設定下で、BDA-PCH行列を用いて効率的にニュートン方向を計算するために共役勾配法を適用する。
• 任意の全結合ニューラルネットワークに適用可能であるように、活性化関数および損失関数が2回微分可能であることを前提に設計する。
• 非凸最適化における安定性と収束性の向上を図るため、ヘシアンの正の曲率部分空間に焦点を当てる。
• 計算の tractability（取り扱いやすさ）を維持しつつ、曲率情報を近似するためにブロック対角構造を用いる。

実験結果

リサーチクエスチョン

• RQ1 正の曲率ヘシアンのブロック対角近似は、ニューラルネットワーク学習における収束速度の向上に寄与するか？
• RQ2 BDA-PCHは、収束性およびメモリ効率の観点から、既存の2次最適化手法と比較してどのように性能を発揮するか？
• RQ3 提案手法は、ミニバッチ学習における非凸損失関数を効果的に処理できるか？
• RQ4 共役勾配法は、BDA-PCHを用いたニュートン方向計算の効率をどの程度向上させるか？

主な発見

• 実験的評価において、BDA-PCH手法は競合する2次最適化手法よりも高速な収束を達成した。
• ブロック対角近似は、有効な曲率情報を保持しつつ、メモリ使用量を顕著に削減した。
• 本手法は、活性化関数および損失関数が2回微分可能な任意の全結合ニューラルネットワークに適用可能である。
• 共役勾配に基づく手法により、ミニバッチ設定下でのニュートン方向計算が効率的に実現された。