[論文レビュー] The Lingering of Gradients: How to Reuse Gradients Over Time

Zeyuan Allen-Zhu, David Simchi‐Levi+1 more|arXiv (Cornell University)|Jan 1, 2018

Stochastic Gradient Optimization Techniques被引用数 1

ひとこと要約

この論文は、勾配の'長く残る'性質（時間経過に伴い勾配を再利用することで計算負荷を低減）を考慮した、一次最適化手法の洗練された複雑度解析を導入する。勾配を再計算する追加時間は、パラメータ空間における移動距離に線形に比例するとモデル化することで、勾配降下法の収束速度を 1/T から exp(−T¹/³) に向上させ、460万ユーザーのアプリケーションで10⁻⁶の誤差を達成する高精度解を得るためにたった6回のデータセットパスで実現した。

ABSTRACT

© 2018 Curran Associates Inc..All rights reserved. Classically, the time complexity of a first-order method is estimated by its number of gradient computations. In this paper, we study a more refined complexity by taking into account the “lingering” of gradients: once a gradient is computed at xk, the additional time to compute gradients at xk+1, xk+2, . . . may be reduced. We show how this improves the running time of gradient descent and SVRG. For instance, if the “additional time” scales linearly with respect to the traveled distance, then the “convergence rate” of gradient descent can be improved from 1/T to exp(−T1/3). On the empirical side, we solve a hypothetical revenue management problem on the Yahoo! Front Page Today Module application with 4.6m users to 10−6 error (or 10−12 dual error) using 6 passes of the dataset.

研究の動機と目的

• 古典的な時間複雑度解析では勾配計算のみを数え、時間経過に伴う勾配情報の再利用を考慮しないというギャップを解消すること。
• 初期計算後に近接する点での勾配計算が安価になるという'勾配の長く残る'性質をモデル化すること。
• 勾配再計算の時間コストを複雑度解析に組み込むことで、勾配降下法やSVRGのような一次手法の収束速度を向上させること。
• 大規模最適化問題、特に460万ユーザーを有する実世界の収益管理タスクにおける実用的性能向上を示すこと。
• 勾配再計算のオーバーヘッドを低減することで、少ないデータセットパスで高精度解への収束が早くなること。

提案手法

• 初期計算後に近接する点での勾配計算コストが低下する'勾配の長く残る'性質を考慮した洗練された時間複雑度モデルを導入する。
• パラメータ空間における移動距離に比例して、連続する点での勾配計算に要する追加時間を線形にスケーリングするとモデル化する。
• このモデルを勾配降下法とSVRGに適用し、新たな複雑度枠組み下での改善された収束速度を導出する。
• 勾配の長く残るモデルを用いて有効な収束速度を再解釈し、追加時間の線形スケーリング下で収束速度が 1/T から exp(−T¹/³) に向上することを示す。
• 460万ユーザーの実世界の収益管理問題に対して、Yahoo! Front Page Today Moduleデータセットを用いて実験的に検証する。
• 勾配をイテレーション間で再利用する有限和最適化設定を採用し、高い正確性を維持しつつ総計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 勾配の長く残る性質が、勾配降下法やSVRGのような一次最適化手法の時間複雑度にどのように影響するか？
• RQ2 勾配計算の追加時間コストを移動距離の関数としてモデル化することで、収束速度の向上が可能か？
• RQ3 高精度要件を満たす大規模最適化問題における勾配再利用の実用的影響は何か？
• RQ4 実世界の応用において勾配の長く残る性質を活用することで、データセットパスの回数をどの程度削減できるか？
• RQ5 古典的複雑度解析と比較して、勾配の長く残るモデルは実際の実行時間と収束速度をどの程度正確に予測できるか？

主な発見

• 勾配再計算に要する追加時間が移動距離に線形に比例する場合、勾配降下法の収束速度は 1/T から exp(−T¹/³) に向上する。
• 提案されたモデルにより、460万ユーザーのデータセット上で、10⁻⁶の誤差を達成する大規模収益管理問題をたった6回のデータセットパスで解けるようになった。
• 二重誤差（dual error）が10⁻¹²に達し、最小限の計算オーバーヘッドで高精度収束を実現した。
• 勾配の長く残る効果により、最適化の後期段階においても反復ごとの有効な時間コストが顕著に低減された。
• 実験結果により、勾配再利用が実際の収束を早め、総計算時間を短縮することが確認された。
• 洗練された複雑度モデルは、古典的な勾配数え上げアプローチよりも実行時間の予測をより正確にした。