[論文レビュー] Stable Robbins-Monro approximations through stochastic proximal updates

Panos Toulis, Thibaut Horel+1 more|arXiv (Cornell University)|Oct 4, 2015

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿では、巨大データセットにおける反復的パrameter推定の数値安定性を向上させるために、プロキシマル更新を組み込んだ一般化された確率的近似フレームワークを導入する。近似的なプロキシマル演算子のインスタンス化を活用することで、性能を犠牲にすることなく安定した収束を達成し、実践的および理論的に古典的な確率的勾配手法を上回る。

ABSTRACT

The need for parameter estimation with massive data has reinvigorated interest in iterative estimation procedures. Stochastic approximations, such as stochastic gradient descent, are at the forefront of this recent development because they yield simple, generic, and extremely fast iterative estimation procedures. Such stochastic approximations, however, are often numerically unstable. As a consequence, current practice has turned to proximal operators, which can induce stable parameter updates within iterations. While the majority of classical iterative estimation procedures are subsumed by the framework of Robbins and Monro (1951), there is no such generalization for stochastic approximations with proximal updates. In this paper, we conceptualize a general stochastic approximation method with proximal updates. This method can be applied even in situations where the analytical form of the objective is not known, and so it generalizes many stochastic gradient procedures with proximal operators currently in use. Our theoretical analysis indicates that the proposed method has important stability benefits over the classical stochastic approximation method. Exact instantiations of the proposed method are challenging, but we show that approximate instantiations lead to procedures that are easy to implement, and still dominate classical procedures by achieving numerical stability without tradeoffs. This last advantage is akin to that seen in deterministic proximal optimization, where the framework is typically impossible to instantiate exactly, but where approximate instantiations lead to new optimization procedures that dominate classical ones.

研究の動機と目的

• 大規模パrameter推定において、古典的な確率的近似手法の数値不安定性を解消すること。
• ロビンズ＝モンロの枠組みを一般化し、プロキシマル更新を組み込むことで、反復的手順における安定性を実現すること。
• 目的関数の解析的表現が不明な場合でも適用可能な手法を開発すること。
• 提案手法の近似的インスタンスが、安定で実用的なアルゴリズムを生み出し、古典的な確率的勾配手法を上回ることを示すこと。
• 通常は決定的設定で観察されるプロキシマル最適化の利点を、確率的かつデータ駆動の設定へと拡張すること。

提案手法

• 本稿では、反復的更新ルールにプロキシマル演算子を統合した一般化された確率的近似フレームワークを提案する。
• プロキシマル項が更新方向を正則化するように、確率的近似スキームを定式化する。
• 完全な目的関数を必要とせず、確率的勾配とプロキシマル演算子のみに依存して動作する。
• 正確だが計算不能な解を避けるために、近似的インスタンスを用いることで計算可能性を確保する。
• 各反復にプロキシマル正則化を埋め込むことで、古典的なロビンズ＝モンロ手順を一般化する。
• 理論的分析により、正確な計算が不可能であっても、プロキシマル最適化から得られる安定性の利点を継承できることを示す。

実験結果

リサーチクエスチョン

• RQ1 数値安定性を向上させるためにプロキシマル更新を組み込んだ一般化された確率的近似フレームワークを開発することは可能か？
• RQ2 目的関数が不明または計算不能な場合に、どのようにしてプロキシマル演算子を確率的近似に統合できるか？
• RQ3 このようなプロキシマル確率的近似手法の収束性および安定性の性質は何か？
• RQ4 手法の近似的インスタンスが、理論的保証および実用的利点をどの程度維持するか？
• RQ5 安定性および性能の観点から、提案手法は古典的な確率的勾配降下法と比べてどの程度優れているか？

主な発見

• 提案手法は、ロビンズ＝モンロの枠組みを一般化し、プロキシマル更新を組み込むことで、安定なパrameter推定を可能にする。
• 正確なインスタンス化が不可能であっても、妥協なく数値的安定性を達成する。
• 手法の近似的インスタンスは、安定性において古典的な確率的勾配手順を上回る実用的アルゴリズムを生み出す。
• 理論的分析により、決定的プロキシマル最適化から得られる安定性の利点が、確率的設定へと拡張されることを確認した。
• 目的関数の解析的表現が不明な状況でも適用可能であり、実用的適用範囲が広がる。
• 古典的な確率的近似手法と比較して、収束性を維持しつつ、著しく数値的ロバスト性が向上している。