[论文解读] Stochastic L-BFGS Revisited: Improved Convergence Rates and Practical Acceleration Strategies

Renbo Zhao, William B. Haskell+1 more|arXiv (Cornell University)|Jan 1, 2017

Sparse and Compressive Sensing Techniques参考文献 9被引用 2

一句话总结

本文通過引入一種新型收斂性分析框架，重新探討隨機 L-BFGS，實現了更優異的理論收斂速率與計算複雜度。此外，提出了實用的加速策略——回溯線搜索、自適應 Hessian 近似與方差減少，並在大規模邏輯回歸與 Ridge 回歸任務上，展現出顯著優於當前最先进方法的實驗性能。

ABSTRACT

We revisit the stochastic limited-memory BFGS (L-BFGS) algorithm. By proposing a new framework for the convergence analysis, we prove improved convergence rates and computational complexities of the stochastic L-BFGS algorithms compared to previous works. In addition, we propose several practical acceleration strategies to speed up the empirical performance of such algorithms. We also provide theoretical analyses for most of the strategies. Experiments on large-scale logistic and ridge regression problems demonstrate that our proposed strategies yield significant improvements vis-a-vis competing state-of-the-art algorithms.

研究动机与目标

• 改進隨機 L-BFGS 算法的理論收斂速率與計算複雜度。
• 開發實用的加速策略，以提升實驗性能，同時不犧牲理論保證。
• 為每一項所提出的加速技術提供理論分析。
• 在大規模邏輯回歸與 Ridge 回歸問題上，實證驗證所提出方法的有效性。

提出的方法

• 引入一種新的收斂性分析框架，以建立更緊緻的理論收斂速率與計算複雜度邊界。
• 引入回溯線搜索，以自適應地確定步長，從而提升穩定性與收斂速度。
• 提出一種自適應 Hessian 近似策略，以更好地捕捉隨機環境下的曲率資訊。
• 應用方差減少技術，以穩定更新並加速在噪音梯度環境中的收斂。
• 為每一項加速策略提供理論分析，將其設計與改進的收斂行為聯繫起來。

实验结果

研究问题

• RQ1 新的收斂性分析框架是否能為隨機 L-BFGS 帶來更優異的理論收斂速率？
• RQ2 實用的加速策略（如回溯線搜索與方差減少）是否能提升實驗性能？
• RQ3 所提出的策略與現有的最先进隨機優化方法相比，在收斂速度與解品質方面表現如何？
• RQ4 在顯著提升實驗運行時間與收斂效率的同時，是否仍能保持理論保證？

主要发现

• 所提出的框架在理論收斂速率與計算複雜度方面，優於先前的隨機 L-BFGS 方法。
• 回溯線搜索顯著提升了收斂穩定性，並減少所需迭代次數。
• 自適應 Hessian 近似在大規模問題上促進了目標函數值更快的下降。
• 方差減少技術在多個數據集上促進了更一致且更快的收斂。
• 實驗結果顯示，所提出方法在邏輯回歸與 Ridge 回歸任務中，無論在收斂速度還是最終解品質方面，均優於競爭對手的最先进算法。