[論文レビュー] The Case for Full-Matrix Adaptive Regularization

Naman Agarwal, Brian Bullins+5 more|arXiv (Cornell University)|Sep 27, 2018

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿では、低ランク行列の逆平方根を効率的に計算することで、深層学習におけるフルマトリックスの適応的正則化の実用的利用を可能にするスケーラブルなフルマトリックス適応最適化手法GGTを提案する。非凸最適化における1次局所最小値への収束を保証する初の厳密な理論的保証を提供し、合成的および標準的な深層学習ベンチマークにおいてより高速な学習を実現する。

ABSTRACT

Adaptive regularization methods come in diagonal and full-matrix variants. However, only the former have enjoyed widespread adoption in training large-scale deep models. This is due to the computational overhead of manipulating a full matrix in high dimension. In this paper, we show how to make full-matrix adaptive regularization practical and useful. We present GGT, a truly scalable full-matrix adaptive optimizer. At the heart of our algorithm is an efficient method for computing the inverse square root of a low-rank matrix. We show that GGT converges to first-order local minima, providing the first rigorous theoretical analysis of adaptive regularization in non-convex optimization. In preliminary experiments, GGT trains faster across a variety of synthetic tasks and standard deep learning benchmarks.

研究の動機と目的

• フルマトリックス適応的正則化が理論的利点を持つものの、計算上の非効率性が原因でニッチな用途に限定されてきた問題を解決すること。
• 高次元の深層学習モデルにおけるフルマトリックス適応的正則化を可能にするスケーラブルなアルゴリズムの開発。
• 非凸最適化における適応的正則化の収束に関する厳密な理論的分析の提供。
• トレーニング速度とパフォーマンスにおいて、フルマトリックス手法が対角手法を上回ることの実証。

提案手法

• コアなイノベーションは、低ランク行列の逆平方根を効率的に計算するアルゴリズムであり、計算コストを低減する。
• GGTは、ヘシアンに類似した行列を低ランク更新として近似することで、フルマトリックスの適応的更新ルールを維持する。
• 行列分解と反復的精錬を活用し、フルマトリックスの逆行列を計算せずに逆平方根を算出する。
• ミニバッチ学習に適した確率的最適化フレームワークにフルマトリックス更新を統合する。
• 構造的な低ランク近似を通じて、数値的安定性と計算効率を確保する。
• 理論的分析により、標準的な非凸最適化の仮定の下で、1次局所最小値への収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 大規模な深層学習に適用可能な計算的に実用的なフルマトリックス適応的正則化は可能か？
• RQ2 非凸設定において、フルマトリックス適応最適化は1次局所最小値に収束するか？
• RQ3 トレーニング速度と収束性において、フルマトリックス適応的正則化は対角バージョンと比べて優れているか？
• RQ4 高次元において、フルマトリックスプレコンディショナーの維持と更新にかかる計算コストはどの程度か？

主な発見

• GGTは、さまざまな合成的タスクにおいて、対角的適応手法よりも高速な学習収束を達成する。
• GGTは、標準的な深層学習ベンチマークにおいて優れたパフォーマンスを示し、トレーニング時間を短縮する。
• 本手法は、非凸最適化におけるフルマトリックス適応的正則化の初の厳密な理論的収束保証を提供する。
• 効率的な逆平方根計算により、計算コストが著しく増大することなくフルマトリックス更新が可能になる。
• 低ランク近似を通じて、高次元設定でも数値的安定性とスケーラビリティを維持する。