[論文レビュー] Unbiased Simulation for Optimizing Stochastic Function Compositions

José Blanchet, Donald Goldfarb+3 more|arXiv (Cornell University)|Nov 20, 2017

Stochastic Gradient Optimization Techniques参考文献 1被引用数 12

ひとこと要約

本稿では、多段階モンテカルロを活用して有限分散・低コストな勾配推定を可能にする、確率的関数合成の最適化のためのバイアスなし勾配シミュレーションアルゴリズムを提案する。SVRG や SCSG といった分散低減手法と組み合わせることで、強い凸性のもとで期待値およびほとんど確実に線形収束を達成し、コックスの部分尤度および条件付きランダムフィールドのタスクにおいて、バイアスありの代替手法を上回る性能を発揮する。

ABSTRACT

In this paper, we introduce an unbiased gradient simulation algorithms for solving convex optimization problem with stochastic function compositions. We show that the unbiased gradient generated from the algorithm has finite variance and finite expected computation cost. We then combined the unbiased gradient simulation with two variance reduced algorithms (namely SVRG and SCSG) and showed that the proposed optimization algorithms based on unbiased gradient simulations exhibit satisfactory convergence properties. Specifically, in the SVRG case, the algorithm with simulated gradient can be shown to converge linearly to optima in expectation and almost surely under strong convexity. Finally, for the numerical experiment,we applied the algorithms to two important cases of stochastic function compositions optimization: maximizing the Cox's partial likelihood model and training conditional random fields.

研究の動機と目的

• 確率的関数合成最適化問題における、従来のバイアスあり確率的勾配法の計算非効率性を解消すること。
• 有限の期待計算コストを保証する、バイアスなし勾配シミュレーション技術の開発。
• バイアスなし勾配シミュレーションを分散低減アルゴリズム（SVRG, SCSG）と統合し、収束速度の向上を図ること。
• コックスの部分尤度最大化や条件付きランダムフィールドの学習といった実世界の問題への適用。
• 提案されたシミュレーションベース最適化フレームワークを用いて、強い凸性のもとで期待値およびほとんど確実に線形収束を示すことを実証すること。

提案手法

• バイアス除去を伴う多段階モンテカルロを用いて、確率的関数合成問題のバイアスなし確率的勾配をシミュレートする。
• 関数次元に依存せずに有限の2次モーメントと有限の期待計算コストを保証するシミュレーションアルゴリズムを構築する。
• バイアスなし勾配シミュレーションをSVRGおよびSCSGと統合し、分散を低減し収束を加速する。
• 勾配推定の安定化と収束保証のため、ベースレベルのシミュレーション戦略を用いる。
• リスク集合の依存性を縮約することで、コックスの部分尤度のような累積和構造を有する問題に適用する。
• 動的計画法（例：ビタビアルゴリズム）を活用し、CRF学習における全勾配計算を効率的に行い、シミュレーションベース手法と比較可能にする。

実験結果

リサーチクエスチョン

• RQ1 有限の分散と有限の期待計算コストを有するバイアスなし勾配シミュレーションを、確率的関数合成問題に対して構築可能か？
• RQ2 バイアスなし勾配シミュレーションをSVRGまたはSCSGと組み合わせることで、強い凸性のもとで期待値およびほとんど確実に線形収束が達成されるか？
• RQ3 提案手法は、コンポジショナル-SVRG-1 などのバイアスありアルゴリズムと比較して、収束速度および反復複雑度において優れているか？
• RQ4 コックスの部分尤度のように、全勾配計算が高コストな累積和構造を有する問題を、効率的に処理できるか？
• RQ5 大規模設定におけるシミュレーションの分散および全勾配評価の欠如が、収束挙動に与える影響は何か？

主な発見

• 提案されたバイアスなし勾配シミュレーションアルゴリズムは、目的関数の次元に依存せず、有限の分散と有限の期待計算コストを有する勾配を生成する。
• SVRGと組み合わせた場合、強い凸性のもとで期待値およびほとんど確実に線形収束を達成し、成分関数の数 m や n に依存しない収束速度を示す。
• コックスの部分尤度実験では、Simulated SVRGアルゴリズムがコンポジショナル-SVRG-1 や勾配降下法を上回り、線形収束を示し、大規模な累積和構造に対してもロバストであることが示された。
• CRF学習タスクでは、Simulated SVRGが再び最高の性能を示したが、大規模データセットにおける全勾配評価の欠如のため、Simulated SCSGは勾配降下法に劣った。
• 本手法は、コックスモデルにおける累積和構造を効果的に縮約し、従来手法が計算ボトルネックに直面する状況でも効率的な最適化を可能にした。
• 数値結果から、特に高分散のシミュレーション設定では、勾配推定の分散の影響で関数値が一時的に増加する場合があることが示された。