[論文レビュー] Stochastic Optimization Using a Trust-Region Method and Random Models

Ruobing Chen, Matt Menickelly+1 more|arXiv (Cornell University)|Apr 16, 2015

Stochastic Gradient Optimization Techniques参考文献 23被引用数 12

ひとこと要約

本稿では、目的関数のランダムなモデルとノイズのある関数推定値を用いる確率的最適化の信頼域法を提案する。一般な条件下で、確率的勾配法やサンプル平均法と比較して、偏りのあるノイズに対してもロバストであり、ほぼ確実に1次停留点に収束することを示した。

ABSTRACT

In this paper, we propose and analyze a trust-region model-based algorithm for solving unconstrained stochastic optimization problems. Our framework utilizes random models of an objective function $f(x)$, obtained from stochastic observations of the function or its gradient. Our method also utilizes estimates of function values to gauge progress that is being made. The convergence analysis relies on requirements that these models and these estimates are sufficiently accurate with sufficiently high, but fixed, probability. Beyond these conditions, no assumptions are made on how these models and estimates are generated. Under these general conditions we show an almost sure global convergence of the method to a first order stationary point. In the second part of the paper, we present examples of generating sufficiently accurate random models under biased or unbiased noise assumptions. Lastly, we present some computational results showing the benefits of the proposed method compared to existing approaches that are based on sample averaging or stochastic gradients.

研究の動機と目的

• 目的関数の観測値や勾配の観測値しか得られない、非制約的な確率的最適化問題に対して、信頼域に基づく最適化フレームワークを構築すること。
• モデルと推定値の精度に関する弱く一般な条件下で、1次停留点へのグローバル収束を保証すること。
• 従来の確率的勾配法やサンプル平均法とは異なり、偏りのあるノイズや外れ値に対してもロバストであることを示すこと。
• 機械学習の文脈で、Adagrad などの既存手法と、実験的に比較すること。
• 各反復で高精度なモデルが得られる必要はなく、低確率でしか正確でないモデルであっても、実用的な性能を発揮できることを示すこと。

提案手法

• アルゴリズムは、関数値または勾配の観測値をランダムに使用して、目的関数の局所的二次モデルを構築する。
• ステップサイズを決定するために信頼域部分問題を用い、モデルに基づくマーリット関数の十分な減少を保証する。
• 現在の点および試行点における関数推定値を用いて進行状況をモニタリングし、ステップの受容または拒否を判断する。
• モデルが1次的に正確であること、および関数推定値が固定確率で十分に正確であることが必要であり、これはサンプリング手法とは独立している。
• ノイズが無作為でないか、特定のサンプリング分布を仮定しないため、モデル生成の柔軟性が得られる。
• 機械学習における経験的リスク最小化に、確率的ヘッシアンと勾配推定値を用いてフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 関数値や勾配の観測値しか得られない確率的最適化に、信頼域法をどのように適応できるか。
• RQ2 モデルと推定値の精度に関する最小限の確率的条件は何か。その条件下で1次停留点へのグローバル収束が保証されるか。
• RQ3 偏りのあるノイズ下でも、確率的勾配法やサンプル平均法と比較して、実際の性能はどの程度か。
• RQ4 各反復でモデルが正確である確率が低くても、性能を発揮できるか。
• RQ5 大規模データセットを用いたロジスティック回帰のような機械学習問題に、この手法は一般化しやすいか。

主な発見

• モデルと推定値の精度に関する弱く一般な条件下で、本手法は1次停留点へのほぼ確実なグローバル収束を達成する。
• 数値実験では、STORMは10次元の2次関数問題を100%の確率で精度 <10−5 まで解き、モデルの正確さが約27%の確率でしか得られない状況下でも有効であった。
• ロジスティック回帰の実験では、STORMは安定した低下を示す訓練損失とテスト損失のトレースを示し、収束の安定性と一般化性能の両面でAdagradを上回った。
• 標準的な確率的勾配法やサンプル平均法とは異なり、偏りのあるノイズ下でも本手法は有効であった。
• 理論的予測では必要なモデル精度が過剰に保守的であったが、実際には低精度でも性能が安定していた。
• 本手法は外れ値に対してロバストであり、従来の確率的勾配法とは異なり、ステップサイズのシーケンスのチューニングを必要としなかった。