[論文レビュー] Curvature-aided Incremental Aggregated Gradient Method

Hoi-To Wai, Wei Shi+2 more|arXiv (Cornell University)|Oct 24, 2017

Sparse and Compressive Sensing Techniques参考文献 12被引用数 3

ひとこと要約

本稿では、有限和問題における収束を加速するために、インクリメンタル・ヘッセ情報を利用する一次順序最適化アルゴリズムである曲率補助インクリメンタル集約勾配（CIAG）法を提案する。この手法は、${\cal O}(d^2)$ の反復ごとの計算量で、フル勾配法と同等の線形収束レートを達成しており、高次元問題において反復回数と計算効率の両面でIAGとINを上回る。

ABSTRACT

We propose a new algorithm for finite sum optimization which we call the curvature-aided incremental aggregated gradient (CIAG) method. Motivated by the problem of training a classifier for a d-dimensional problem, where the number of training data is $m$ and $m \gg d \gg 1$, the CIAG method seeks to accelerate incremental aggregated gradient (IAG) methods using aids from the curvature (or Hessian) information, while avoiding the evaluation of matrix inverses required by the incremental Newton (IN) method. Specifically, our idea is to exploit the incrementally aggregated Hessian matrix to trace the full gradient vector at every incremental step, therefore achieving an improved linear convergence rate over the state-of-the-art IAG methods. For strongly convex problems, the fast linear convergence rate requires the objective function to be close to quadratic, or the initial point to be close to optimal solution. Importantly, we show that running one iteration of the CIAG method yields the same improvement to the optimality gap as running one iteration of the full gradient method, while the complexity is $O(d^2)$ for CIAG and $O(md)$ for the full gradient. Overall, the CIAG method strikes a balance between the high computation complexity incremental Newton-type methods and the slow IAG method. Our numerical results support the theoretical findings and show that the CIAG method often converges with much fewer iterations than IAG, and requires much shorter running time than IN when the problem dimension is high.

研究の動機と目的

• 大規模有限和最適化におけるインクリメンタル集約勾配（IAG）法の収束遅さを解消する。
• ヘッセ行列の逆行列計算を要するため計算コストが高くなるインクリメンタルニュートン（IN）法の課題を克服する。
• IAGの低反復コストとフル勾配法の高速収束を組み合わせた手法を開発する。
• 特に$m \gg d \gg 1$ の設定において、最小限の記憶領域と計算コストのオーバーヘッドで線形収束を達成する。
• ヘッセ行列の逆行列が悪条件であるためにINが収束しないような高次元問題でも、数値的安定性とスケーラビリティを確保する。

提案手法

• 各ステップでフル勾配ベクトルを追跡するためのインクリメンタル・ヘッセ近似を導入する。
• 行列の逆行列計算を伴わず、ヘッセ（曲率）情報を用いて勾配更新をガイドする。
• 成分関数のヘッセ行列の集約推定値を継続的に更新することで収束を向上させる。
• フル勾配反復の収束レートに漸近的に一致するステップサイズルールを適用する。
• 十分に小さいステップサイズのもとで強い凸性のもとでグローバル収束を保証する。
• 実用的な加速収束を達成するための適応的ステップサイズ戦略を提案する。

実験結果

リサーチクエスチョン

• RQ1 ヘッセ行列の逆行列計算を伴わずに、曲率情報を利用することでインクリメンタル勾配法の収束を加速できるか？
• RQ2 提案されたCIAG法は、フル勾配法と同等の線形収束レートを達成できるか？
• RQ3 高次元設定において、CIAGはIAGおよびINと比較して収束速度と計算コストの両面で優れているか？
• RQ4 INが悪条件なヘッセ行列の逆行列計算に失敗する場合でも、CIAGは数値的安定性と収束性を維持できるか？
• RQ5 インクリメンタル最適化において、収束速度と反復ごとの計算量のトレードオフは何か？

主な発見

• CIAGは、反復ごとの計算量が${\cal O}(d^2)$ でありながら、収束レートが$1 - 4Q/(Q+1)^2$ に達し、フル勾配法と同等の線形収束を実現する。
• 二次関数に類似した目的関数、または最適解に近い初期点では、CIAGの1反復で得られる最適性ギャップの改善は、フル勾配法の1反復と同等である。
• 数値実験の結果、CIAGはIAGに比べてはるかに少ない反復回数で収束し、INに比べて時間的にも速く収束する。特に高次元問題（$d=501$, $m=2000$）において顕著である。
• IN法は高次元ケース（例：$d=501$）では収束に失敗するが、CIAGは数値的に安定で効率的である。
• 実データセット（mushrooms, w8a, alpha）においても、CIAGはIAGよりも少ない有効なパス数で収束し、INよりも短時間で収束する。INは反復回数が速いが、ヘッセ行列の逆行列計算コストが高いため。
• alphaデータセット（$d=500$, $m=500,000$）では、CIAGは7.6の有効パスと463.08秒を要したが、INは2.3パスで収束したものの、1130.7秒を要した。