[論文レビュー] Distributed Time-Varying Stochastic Optimization and Utility-Based Communication

Andrea Simonetto, Leon Kester+1 more|arXiv (Cornell University)|Aug 22, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用数 10

ひとこと要約

本稿では、ノードが局所的な不確実性のノイズが混ざった時間変動型確率的密度関数（pdf）を用いて局所勾配を計算するネットワーク上で、時間変動型確率的凸最適化問題を解く分散型非同期確率的 $\varepsilon$-勾配アルゴリズムを提案する。通信ポリシーは、必要な場合にのみpdfの更新をトリガーすることで、不要なデータ交換を低減する。収束はステップサイズ $\alpha$、$\varepsilon$、および問題の変動性に依存する誤差バウンドに達する。強い凸性とリプシッツ勾配の仮定のもとで、線形収束レートを達成する。

ABSTRACT

We devise a distributed asynchronous stochastic epsilon-gradient-based algorithm to enable a network of computing and communicating nodes to solve a constrained discrete-time time-varying stochastic convex optimization problem. Each node updates its own decision variable only once every discrete time step. Under some assumptions (among which, strong convexity, Lipschitz continuity of the gradient, persistent excitation), we prove the algorithm's asymptotic convergence in expectation to an error bound whose size is related to the constant stepsize choice alpha, the variability in time of the optimization problem, and to the accuracy epsilon. Moreover, the convergence rate is linear. Then, we show how to compute locally stochastic epsilon-gradients that depend also on the time-varying noise probability density function (PDF) of the neighboring nodes, without requiring the neighbors to send such PDFs at each time step. We devise utility-based policies to allow each node to decide whether to send or not the most up-to-date PDF, which guarantee a given user-specified error level epsilon in the computation of the stochastic epsilon-gradient. Numerical simulations display the added value of the proposed approach and its relevance for estimation and control of time-varying processes and networked systems.

研究の動機と目的

• 制限された非同期通信のもとで、分散ノードが時間変動型確率的凸最適化問題を解けるようにすること。
• ユーザーが指定した誤差レベル $\varepsilon$ を維持するために、pdfの更新を必要に応じてのみトリガーするユーティリティベースのポリシーを設計することで、通信オーバーヘッドを低減すること。
• ステップサイズ $\alpha$、$\varepsilon$、および時間変動型問題ダイナミクスに依存する誤差バウンドに、期待値として線形収束を保証すること。
• 各ノードが、隣接ノードから選択的に通信されたpdfと、局所的に入手可能な情報のみを用いて、局所的な確率的 $\varepsilon$-勾配を計算できること。

提案手法

• 時間変動型確率的凸最適化問題をネットワーク上のノードで分散型・非同期型に解くための、定常ステップサイズ $\varepsilon$-勾配アルゴリズムを定式化する。
• 隣接ノードの不確実性の時間変動型pdfに依存する局所的確率的 $\varepsilon$-勾配を用い、pdfの完全な送信を必要としない。
• 期待される誤差への影響に基づいて、pdf更新の送信タイミングを決定するユーティリティベースの通信ポリシーを導入し、ユーザー指定の $\varepsilon$ 精度を保証する。
• ラプラシアンベースの解析を用いて、誤差バウンドへの漸近的収束（期待値）を証明し、強い凸性とリプシッツ勾配条件のもとで線形収束レートを示す。
• ユーティリティ指標 $\mathcal{U}_{\mathrm{S}}$ と $\mathcal{U}_{\mathrm{R}}$ を用いて、pdfの差と勾配の感度に基づき、勾配推定誤差をpdfの差に結びつける。これにより、誤差伝播が有界に保たれる。
• ピーター・ポールの不等式を用いて勾配推定誤差をバウンディングし、将来的な改良によりよりタイトなバウンディングが可能である。

実験結果

リサーチクエスチョン

• RQ1 分散ネットワーク上のノードが、通信オーバーヘッドを最小限に抑えて、時間変動型確率的凸最適化問題をどのように解くことができるか？
• RQ2 局所的勾配推定が、pdfの継続的交換を必要とせずに、ユーザーが定めた誤差許容範囲 $\varepsilon$ の範囲内に保たれるような、ユーティリティベースの通信ポリシーは何か？
• RQ3 不確実な分布を伴う時間変動型設定において、非同期的・定常ステップサイズの確率的勾配法にどのような収束保証を提供できるか？
• RQ4 勾配推定誤差はネットワーク内でどのように伝播するか？ そして、その誤差が既知のレベルに制限される条件は何か？
• RQ5 時間変動型問題ダイナミクスと非同期更新のもとで、期待値として線形収束を達成できるか？

主な発見

• 提案アルゴリズムは、定常ステップサイズ $\alpha$、誤差許容範囲 $\varepsilon$、および問題の時間変動性に依存する誤差バウンドに、期待値として線形収束を達成する。
• 誤差バウンドは、$\alpha$、$\varepsilon$、および最適解の時間的変化率の関数として明示的に特徴づけられる。
• ユーティリティベースの通信ポリシーにより、必要な場合にのみpdfの更新がトリガーされ、局所的 $\varepsilon$-勾配推定の誤差が $\varepsilon$ の範囲内に保たれる。
• 収束解析により、古くなったり不正確になったpdfに起因する勾配推定誤差が、pdfの差と勾配感度に依存するユーティリティ指標 $\mathcal{U}_{\mathrm{S}}$ と $\mathcal{U}_{\mathrm{R}}$ を用いて有界に保たれることを示した。
• 数値シミュレーションにより、特にスマートグリッドや協調制御の応用分野において、時間変動型プロセスの推定と制御の有効性が確認された。
• 強い凸性とリプシッツ連続勾配の仮定のもとで、非同期通信および時間変動型不確実性分布に対しても収束が保たれ、理論的保証が得られている。