[論文レビュー] Stochastic Trust Region Methods with Trust Region Radius Depending on Probabilistic Models

Xiaoyu Wang, Yifei Yuan|arXiv (Cornell University)|Apr 6, 2019

Stochastic Gradient Optimization Techniques参考文献 47被引用数 6

ひとこと要約

本稿では、確率的モデルの勾配ノルムに基づいて信頼領域半径を動的に設定するstochastic trust-region法STRMEを提案する。非凸、凸、強く凸な設定において、グローバル収束を保証する。本手法は、最先端のアルゴリズムと同等の複雑度バウンズを達成し、既存のstochastic trust-region法および勾配法と比較して、数値実験で優れた性能を示す。

ABSTRACT

We present a stochastic trust-region model-based framework in which its radius is related to the probabilistic models. Especially, we propose a specific algorithm, termed STRME, in which the trust-region radius depends linearly on the latest model gradient. The complexity of STRME method in non-convex, convex and strongly convex settings has all been analyzed, which matches the existing algorithms based on probabilistic properties. In addition, several numerical experiments are carried out to reveal the benefits of the proposed methods compared to the existing stochastic trust-region methods and other relevant stochastic gradient methods.

研究の動機と目的

• 勾配推定の分散が高いために、stochastic first-order法の収束が遅く、性能が劣るという課題に対処する。
• 確率的モデル勾配を用いて信頼領域半径を動的に調整するtrust-regionフレームワークを構築し、ロバスト性と収束性を向上させる。
• 非凸、凸、強く凸な設定において、提案手法の理論的複雑度バウンズを確立し、既存の最先端結果と一致させること。
• ロジスティック回帰および深層ニューラルネットワーク問題における数値実験を通じて、本手法の実用的利点を示すこと。
• 確率的モデルの仮定の下でグローバル収束の理論的保証を提供し、信頼領域法を、より適応性の高いstochastic最適化に拡張すること。

提案手法

• 信頼領域半径δkが確率的モデルに依存するSTRME（Stochastic Trust-Region Method with probabilistic model-dependent radius）を提案。信頼領域半径δkはδk = µk ∥gk∥として設定され、gkはstochastic gradient、µkはスケーリングパラメータである。
• 探索ステップの計算にdoglegおよびL-SR1（限界メモリ対称ランク1）更新戦略を統合し、十分な減少とヘッシアンの近似を確保する。
• ミニバッチサンプリングによる関数値および勾配値の確率的推定を用い、分散低減を目的にサンプルサイズを動的に制御する。
• 信頼領域の受理基準として、比ρk = (f(xk) - f(xk + dk)) / Predを用いる。ここでPredはモデルからの予測減少量である。
• 適応的ラインサーチおよび信頼領域半径更新ルールを採用：ρk ≥ η1（ステップを受理）の場合、µkを増加。それ以外の場合はµkを減少。
• 条件付き期待値および集中不等式（例：チェビシェフ）を用いて、有界分散仮定の下で理論的収束保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 確率的モデルの勾配に依存する信頼領域半径を持つtrust-region法は、stochastic非凸最適化における収束を改善できるか？
• RQ2 このような手法の非凸、凸、強く凸な設定における理論的複雑度は何か？ 既存の最先端バウンズと一致するか？
• RQ3 モデル勾配ノルムに基づく適応的半径機構は、固定またはヒューリスティック半径戦略と比較して、実際の応用でどのように優れるか？
• RQ4 提案手法は、確率的モデル推定を用いた強い凸設定で線形収束を達成できるか？
• RQ5 実世界の機械学習問題において、STRMEの実効的性能は、他のstochastic trust-region法および適応的勾配法と比較してどうか？

主な発見

• STRMEは、非凸、凸、強く凸な設定においてグローバル収束を達成し、最先端のstochasticアルゴリズムと同等の理論的複雑度バウンズを持つ。
• 強く凸な場合、ε-最適性に到達するまでの期待反復回数はE[Tε] ≤ (αβ / (2αβ - 1))(M log(1/ε) + O(1))で抑えられ、Mは問題の条件数およびモデルパラメータに依存する。
• ロジスティック回帰および深層ニューラルネットワークにおける数値実験で、標準的なstochastic trust-region法および適応的勾配法と比較して、収束速度とロバスト性の両方が向上している。
• 信頼領域半径δk = µk ∥gk∥は、現在のモデル勾配に比例してスケーリングされるため、探索と活用のバランスを効果的にとる。これは不要なステップを減らし、収束安定性を向上させる。
• 理論的分析により、有界分散および確率的モデル仮定の下で収束が保たれることを確認。条件付き期待値および集中不等式を用いて、厳密なバウンズが導出された。
• 関数値および勾配値の確率的推定の使用により、大規模な設定でも効率的な計算が可能となり、フル勾配計算を伴わずオンラインおよびミニバッチ学習をサポートする。