[論文レビュー] On the solution of stochastic optimization and variational problems in imperfect information regimes

Hao Jiang, Uday V. Shanbhag|arXiv (Cornell University)|Feb 6, 2014

Risk and Portfolio Optimization参考文献 38被引用数 5

ひとこと要約

本稿では、真のパラメータ θ* が未知である不完全情報環境下で、確率的最適化問題と学習問題を同時に解くための結合型確率的近似スキームを提案する。この手法は、強い凸性のある設定では確実収束と最適収束速度を達成し、凸性のある設定では学習の不確実性に起因する O(√(ln K)/√K) の制御された劣化を示すが、適応的平均化により回復可能である。

ABSTRACT

We consider the solution of a stochastic convex optimization problem $\mathbb{E}[f(x;θ^*,ξ)]$ over a closed and convex set $X$ in a regime where $θ^*$ is unavailable and $ξ$ is a suitably defined random variable. Instead, $θ^*$ may be obtained through the solution of a learning problem that requires minimizing a metric $\mathbb{E}[g(θ;η)]$ in $θ$ over a closed and convex set $Θ$. Traditional approaches have been either sequential or direct variational approaches. In the case of the former, this entails the following steps: (i) a solution to the learning problem, namely $θ^*$, is obtained; and (ii) a solution is obtained to the associated computational problem which is parametrized by $θ^*$. Such avenues prove difficult to adopt particularly since the learning process has to be terminated finitely and consequently, in large-scale instances, sequential approaches may often be corrupted by error. On the other hand, a variational approach requires that the problem may be recast as a possibly non-monotone stochastic variational inequality problem in the $(x,θ)$ space; but there are no known first-order stochastic approximation schemes are currently available for the solution of this problem. To resolve the absence of convergent efficient schemes, we present a coupled stochastic approximation scheme which simultaneously solves both the computational and the learning problems. The obtained schemes are shown to be equipped with almost sure convergence properties in regimes when the function $f$ is either strongly convex as well as merely convex.

研究の動機と目的

• 真のパラメータ θ* が未知であり、それをデータから学習する必要がある確率的最適化問題に対処すること。
• 有限の終了誤差や大規模設定におけるスケーラビリティの低さに苦しむ逐次的手法の限界を克服すること。
• 不完全情報下の確率的環境において、最適化と学習の問題を統合的に解くフレームワークを構築すること。
• 非確実性下での最適化と均衡問題を統一する、確率的変分不等式問題へのアプローチの拡張。
• 学習に起因する収束速度の劣化を定量化し、最適レートが回復可能な条件を提示すること。

提案手法

• 最適化変数 x と学習変数 θ を1つの反復プロセス内で同時に更新する結合型確率的近似スキームを提案する。
• 強凸性と僅かな凸性の両設定で確実収束を保証するため、減少するステップサイズと定数ステップサイズのルールを用いる。
• 凸設定における誤差劣化を低減するための平均化技術を適用し、適切なウインドウ調整により、最適な O(1/√K) レートを回復可能とする。
• 単調性のない確率的変分不等式に対しては、反復的ティホノフ正則化を用いて非単調性に対処し、収束を保証する。
• オンライン版に対して非漸近的レグレットバウンドを導出し、適切なステップサイズ選択のもとで平均レグレットが O(ln K / √K) の速度で減少することを示す。
• 問題の構造的性質を活用して、非単調な確率的変分不等式に対しては従来、このようなスキームが知られていなかった分野においても、1次元手法を設計する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型環境下で、未知のパラメータ θ* を学習しつつ、確率的最適化問題と学習問題を同時に解くための単一の確率的近似スキームを設計可能か？
• RQ2 学習の不確実性が存在する状況下で、このスキームの収束速度は、凸性と強い凸性の設定でそれぞれどのように異なるか？
• RQ3 学習に起因する解の誤差はどのように劣化するか？ そして、アルゴリズム設計によってこの劣化を緩和可能か？
• RQ4 非単調写像を有する確率的変分不等式問題へ、提案されたフレームワークを拡張可能か？
• RQ5 最適化と学習がリアルタイムで行われるオンライン意思決定設定において、どのようなレグレットバウンドを確立できるか？

主な発見

• 提案された結合型確率的近似スキームは、強凸性と僅かな凸性の両設定において、最適化および学習の両成分について確実収束を達成する。
• 強凸性の場合、減少ステップサイズのもとで、最適収束速度 O(1/√K) を達成する。
• 凸性の場合、学習の不確実性に起因して関数値の誤差が O(√(ln K)/√K) に劣化するが、平均化ウインドウの修正により、O(1/√K) に回復可能である。
• 単調性が弱い（weak-sharp）と仮定する場合、確率的変分不等式において、解集合への期待距離は O(√(ln K)/√K) の速度で減少する。
• オンラインレグレットバウンドは O(ln K / √K) の速度で減少し、非漸近的かつリアルタイム意思決定に適している。
• 予備的な数値結果により、異なる問題例およびパラメータ設定において、スキームの性能が妥当であることが検証された。