[論文レビュー] Primal-Dual Frank-Wolfe for Constrained Stochastic Programs with Convex and Non-convex Objectives

Xiaohan Wei, Michael J. Neely|arXiv (Cornell University)|Jun 2, 2018

Advanced Wireless Network Optimization参考文献 23被引用数 5

ひとこと要約

本稿では、凸および非凸の目的関数をもつ制約付き確率的計画問題に対して、プライマル・デュアルFrank-Wolfeアルゴリズムを提案する。時間変動するシステムにおける低複雑性で統計的知識を必要としない意思決定を可能にし、非凸問題ではO(1/ε³)、凸問題ではO(1/ε²)の収束時間を持つ。応用例として、ネットワーク上での分散型オポチュニスティックスケジューリングとコンSENSUS最適化を含む。

ABSTRACT

We study constrained stochastic programs where the decision vector at each time slot cannot be chosen freely but is tied to the realization of an underlying random state vector. The goal is to minimize a general objective function subject to linear constraints. A typical scenario where such programs appear is opportunistic scheduling over a network of time-varying channels, where the random state vector is the channel state observed, and the control vector is the transmission decision which depends on the current channel state. We consider a primal-dual type Frank-Wolfe algorithm that has a low complexity update during each slot and that learns to make efficient decisions without prior knowledge of the probability distribution of the random state vector. We establish convergence time guarantees for the case of both convex and non-convex objective functions. We also emphasize application of the algorithm to non-convex opportunistic scheduling and distributed non-convex stochastic optimization over a connected graph.

研究の動機と目的

• i.i.d. 確率的状態に依存する意思決定を伴う制約付き確率的計画問題に対して、低複雑性で統計的知識を必要としないアルゴリズムの開発。
• 状態分布が既知でない状況において、凸および非凸の目的関数に対する収束時間の保証の確立。
• 連結グラフ上の非凸確率的最適化を、コンセンサス制約とともに分散的に実現可能にする。
• 時間変動する無線ネットワークにおけるオポチュニスティックスケジューリングや、キュー安定性の下でのパワー最適化といった実用的応用を支援する。
• 分散環境下における目的関数のサブ最適性、制約違反、コンセンサス誤差の理論的性能バインディングの提供。

提案手法

• 制約を満たすために仮想キューを用いたプライマル・デュアルFrank-Wolfeフレームワークを採用し、局所勾配に基づいて意思決定を誘導する。
• 各時刻スロットにおいて、プライマル変数（Frank-Wolfeステップにより）とデュアル変数（デュアル変数に対する投影勾配により）の分離可能な部分問題を解く。
• 制約違反を追跡し、デュアル上昇を誘導するために、エントリ単位で仮想キューを更新する。
• 収束性と安定性のバランスを図るため、時間平均更新ルールと減少するステップサイズη = 1/T^{2/3}を採用する。
• 分散最適化においては、各ノードがデュアル変数の局所的コピーを維持し、隣接ノードと通信することで仮想キューを介してコンセンサスを強制する。
• 性能と制約違反のトレードオフを調整するパラメータV = T^{1/3}を用い、最適な収束レートを達成する。

実験結果

リサーチクエスチョン

• RQ1 状態分布の事前知識がなくても、プライマル・デュアルFrank-Wolfeアルゴリズムは制約付き確率的計画問題においてε近似解に収束可能か？
• RQ2 この設定下で、凸関数と非凸関数の両方に対して、収束時間の時間計算量はどのように異なるか？
• RQ3 このアルゴリズムを、コンセンサス制約を伴う連結ネットワーク上での分散型非凸最適化に拡張可能か？
• RQ4 分散環境下で、目的関数のサブ最適性、制約違反、コンセンサス誤差に対して、どのような性能バインディングを確立できるか？
• RQ5 凸および非凸の両ケースで、最適な収束レートを達成しつつ、低計算複雑性を維持できるか？

主な発見

• 凸目的関数の場合、アルゴリズムはε最適解への収束時間としてO(1/ε²)を達成し、ドリフトプラスペナルティ法の既知の境界と一致する。
• 非凸目的関数の場合、アルゴリズムはO(1/ε³)の時間でε近傍の局所最適解に収束し、サブ最適性ギャップはO(1/T^{1/3})で有界である。
• 任意の二つのノード間の期待制約違反はO(1/T^{1/3})で有界であり、コンセンサス収束を保証する。
• 実行可能集合Γ̄_i^*からの期待距離はO(1/T^{2/3})で有界であり、実行可能性への収束を示している。
• Frank-Wolfeと投影勾配ステップを用いて分離可能な部分問題を解くことで、1スロットあたりの計算複雑性を低く維持している。
• 理論的性能バインディングは、コンセンサス制約を伴う分散非凸確率的最適化への応用を通じて検証された。