[論文レビュー] Efficient Full-Matrix Adaptive Regularization

Naman Agarwal, Brian Bullins+5 more|arXiv (Cornell University)|Jun 8, 2018

Sparse and Compressive Sensing Techniques被引用数 12

ひとこと要約

本稿では、最近の勾配のスライディングウインドウから得られる低ランクのヘッセ行列近似の逆平方根を計算することにより、非凸最適化における効率的なフル行列適応正則化のスケーラブルなアルゴリズム、GGTを提案する。この手法は、特にRNN学習のような悪条件または複雑な損失関数の形状において、Adamのような対角適応手法よりも反復ごとの収束が速く、適応比に依存する収束速度の理論的保証を備えている。

ABSTRACT

Adaptive regularization methods pre-multiply a descent direction by a preconditioning matrix. Due to the large number of parameters of machine learning problems, full-matrix preconditioning methods are prohibitively expensive. We show how to modify full-matrix adaptive regularization in order to make it practical and effective. We also provide a novel theoretical analysis for adaptive regularization in non-convex optimization settings. The core of our algorithm, termed GGT, consists of the efficient computation of the inverse square root of a low-rank matrix. Our preliminary experiments show improved iteration-wise convergence rates across synthetic tasks and standard deep learning benchmarks, and that the more carefully-preconditioned steps sometimes lead to a better solution.

研究の動機と目的

• 大規模な深層学習モデルにおけるフル行列適応正則化の計算上的非現実性に対処すること。
• 行列の逆行列計算の高コストを伴わずに、実用的でスケーラブルなフル行列プレコンディショニングの適用手法を開発すること。
• 確率的非凸最適化における適応正則化のための最初の理論的収束解析を提供すること。
• フル行列プレコンディショニングが対角適応手法よりも速く、より強固な学習をもたらすことを実験的に検証すること。
• GGTが、RNNのような複雑で非等方的損失関数形状の文脈で、Adamなどの既存の最適化手法を上回ることを示すこと。

提案手法

• GGTは、最近の勾配のスライディングウインドウにおける勾配グラム行列の低ランク近似の逆平方根を計算する。
• メモリ効率の高い低ランクの勾配の2次モーメント行列を維持するために、指数的減衰ウインドウを用いる。
• この低ランク行列の逆平方根との行列-ベクトル積を、数値的に安定かつGPUにやさしいアルゴリズムで計算する。
• フル行列の保存と逆行列計算を回避するために、ランク1更新を用いてプレコンディショナーを段階的に更新する。
• 最適化ループへの最小限の変更で実現可能な、Adamのドロップインリプレースとしてのアルゴリズム設計である。
• 理論的解析では、SGDに対する改善度を定量化する適応比μを導入し、収束速度がμに依存する。

実験結果

リサーチクエスチョン

• RQ1 大規模な深層学習モデルにおいて、フル行列適応正則化を計算的に現実可能にすることができるか？
• RQ2 悪条件または複雑な損失関数形状において、フル行列プレコンディショニングは対角適応手法よりも速い収束をもたらすか？
• RQ3 確率的非凸最適化における適応正則化に対して、理論的収束保証を確立できるか？
• RQ4 適応比μは、SGDと比較して収束速度にどのように影響するか？
• RQ5 フル行列プレコンディショニングは、RNNやその他の複雑なモデルにおける学習ダイナミクスにどのような影響を及ぼすか？

主な発見

• GGTは、特に悪条件問題において、標準的な深層学習ベンチマークでAdamや他の対角適応手法よりも反復ごとの収束が速い。
• 合成実験では、GGTは悪条件問題においてベースラインを著しく上回り、条件数が高くなるほど収束の向上が顕著になる。
• RNN学習において、GGTは顕著な性能優位性を示し、条件数（約10⁶）の高さと相関しており、非等方的曲率のより良い取り扱いを示している。
• 理論的解析により、GGTは Õ(μ²σ²/ε⁴) 個の確率的勾配呼び出しでε-近似の一次の臨界点に収束することが示され、適応比μによりSGDに対する収束速度が向上することが分かった。
• アルゴリズムの実行時間は、最先端の最適化手法と同等であり、大規模モデルへの実用的適用が可能である。
• 実験的結果により、より注意深くプレコンディショニングされたステップが、特に複雑で非凸な形状の学習空間において、より良い一般化性能と高速な学習をもたらすことが確認された。