[論文レビュー] A Simple Convergence Time Analysis of Drift-Plus-Penalty for Stochastic Optimization and Convex Programs

Michael J. Neely|arXiv (Cornell University)|Dec 2, 2014

Advanced Wireless Network Optimization参考文献 20被引用数 21

ひとこと要約

この論文は、確率的最適化および凸計画問題におけるドリフトプラスペナルティアルゴリズムの収束時間解析を簡素化し、スレイター条件を必要とせず、ラグランジュ乗数の存在下でO(1/ε²)の収束時間を証明する。この手法により、O(ε)の部分最適性を達成する分散型リアルタイム最適化が可能となり、凸計画問題、線形計画問題、ネットワークリソース割り当て問題に適用可能である。

ABSTRACT

This paper considers the problem of minimizing the time average of a stochastic process subject to time average constraints on other processes. A canonical example is minimizing average power in a data network subject to multi-user throughput constraints. Another example is a (static) convex program. Under a Slater condition, the drift-plus-penalty algorithm is known to provide an $O(ε)$ approximation to optimality with a convergence time of $O(1/ε^2)$. This paper proves the same result with a simpler technique and in a more general context that does not require the Slater condition. This paper also emphasizes application to basic convex programs, linear programs, and distributed optimization problems.

研究の動機と目的

• 確率的最適化問題におけるドリフトプラスペナルティアルゴリズムの、よりタイトで簡素化された収束時間解析を確立すること。
• 等式制約やタイトな境界を含む問題において制限的であるスレイター条件の必要性を排除すること。
• 収束結果を一般凸計画問題およびネットワーク上の分散最適化に拡張すること。
• 確率的および決定的凸計画問題の両方に適用可能な統一的な枠組みを提供すること。
• 線形計画問題および分散ネットワーク最適化における実装を通じて、実用的適用性を示すこと。

提案手法

• 時間平均制約を満たすために仮想キューを用い、キューの動的変化をQ_k(t+1) = max[Q_k(t) + y_k(t) - c_k, 0]で定義する。
• 目的関数の最小化と制約違反のバランスを取るために、ドリフトプラスペナルティ型ラグランジュ関数を導入する。
• 双対最適解の存在が収束を保証するラグランジュ双対アプローチを採用する。
• グラフ上のノードに局所変数および制約を割り当てることで、分散最適化にこの手法を適用する。
• 隣接ノード間でキュー状態をメッセージ伝達することで、分散型意思決定を可能にする。
• グローバル制約のため、複製変数(x^{(n,m)})を導入し、ノード間で一貫性を等式制約で強制する。

実験結果

リサーチクエスチョン

• RQ1 スレイター条件を仮定せずに、ドリフトプラスペナルティのO(1/ε²)収束時間を証明できるか？
• RQ2 等式制約を含む線形計画問題や一般凸計画問題に対しても収束結果は成立するか？
• RQ3 ドリフトプラスペナルティ手法は、ネットワーク化されたシステムにおける分散最適化に効果的に適応可能か？
• RQ4 スレイター条件が成立しない場合、ラグランジュ乗数はどのように収束を保証するか？
• RQ5 中央のキュー管理エンティティを必要とせずに、分散環境におけるグローバル制約をどのように処理できるか？

主な発見

• ドリフトプラスペナルティアルゴリズムは、スレイター条件を仮定せずとも、O(ε)の目的関数における部分最適性ギャップを達成し、O(1/ε²)の収束時間を有する。
• 収束時間の上限は、スレイター条件よりもより一般なラグランジュ乗数ベクトルの存在という弱い仮定のもとでも成立する。
• 分散凸計画問題において、各ノードは局所キュー状態と隣接ノードからのメッセージに基づいて局所意思決定を行うことができる。
• 複製変数と一貫性強制を用いることで、不等式制約および等式制約（例：∑gⁿ(xⁿ,θⁿ) ≤ c）を含むグローバル制約に対しても対応可能である。
• 任意のε > 0に対して、目的関数および制約の時間平均においてO(ε)の部分最適性を達成し、O(1/ε²)の収束時間を有する。
• 解析は、決定的凸計画問題、線形計画問題、および確率的ネットワーク最適化（多ユーザースルーレットやパワー最小化含む）に適用可能である。