[論文レビュー] Descent With Approximate Multipliers is Enough: Generalising Max-Weight

Víctor Valls, Douglas J. Leith|arXiv (Cornell University)|Nov 8, 2015

Advanced Wireless Network Optimization参考文献 16被引用数 4

ひとこと要約

本稿は、凸最適化における最適解の近傍への収束を保証するため、近似倍数を用いた勾配降下十分であることを示すことにより、max-weightスケジューリングを一般化する。勾配降下、ブロック座標降下、非同期更新を含む多様な降下法を、離散的行動およびキューイングシステムに拡張し、キューの増分と倍数近似誤差を結びつけるためにスコロホド表現を用いる。

ABSTRACT

We study the use of approximate Lagrange multipliers and discrete actions in solving convex optimisation problems. We observe that descent, which can be ensured using a wide range of approaches (gradient, subgradient, Newton, etc.), is orthogonal to the choice of multipliers. Using the Skorokhod representation for a queueing process we show that approximate multipliers can be constructed in a number of ways. These observations lead to the generalisation of (i) essentially any descent method to encompass use of discrete actions and queues and (ii) max-weight scheduling to encompass new descent methods including those with unsynchronised updates such as block coordinate descent. This also allows consideration of communication delays and of updates at varying time-scales within the same clean and consistent framework.

研究の動機と目的

• 従来のキューイングネットワークを超えてmax-weightスケジューリングを一般化し、降下法と倍数選択を分離すること。
• 凸最適化において離散的行動と近似倍数を用いることを可能にしつつ、収束を保証すること。
• 勾配、部分勾配、ブロック座標降下などの多様な降下法を、近似倍数を統一的に扱うフレームワークに統合すること。
• 流体極限やフォスター＝リアプノフ理論を用いずに、基本的な手法を用いて非同期更新および通信遅延を伴う収束を分析すること。
• スコロホド距離を用いて、キューの増分と倍数近似誤差の間の明確な関係を確立すること。

提案手法

• キューイングプロセスをモデル化し、ラグランジュ倍数の近似誤差とキューの増分を結びつけるためにスコロホド表現を用いる。
• 時間変動する凸最適化フレームワークを導入し、勾配、部分勾配、ニュートン法などの標準的手法により降下を保証する。
• 部分勾配の累積平均を用いて近似誤差を制御し、max-weightの手法を一般化する。
• 離散的行動集合（例えば、有限個の方向から選択するなど）を導入し、非同期更新下でも収束を証明する。
• ベクトル不等式とノルムの上限を用いて、双対ギャップと倍数誤差の上界を評価し、凸性と有界性に依存する。
• 近似倍数と部分勾配の内積の上限を制御することで、最適解の周囲の球内への収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 任意の降下法に依存しない近似倍数を用いた降下が、凸最適化において収束を保証できるか？
• RQ2 収束保証を維持したまま、離散的行動を降下法に統合する方法は何か？
• RQ3 近似誤差が存在する状況下で、非同期更新（例：ブロック座標降下）が収束するための条件は何か？
• RQ4 スコロホド距離は、近似倍数の精度とキュー増分の差の間の関係をどのように定式化するか？
• RQ5 max-weightフレームワークを、勾配でない降下法および非一様な更新タイミングを含む形に一般化できるか？

主な発見

• 任意の降下法に依存せず、最適解の周囲の $ O(1/k) $ の球内への収束が保証される。
• 本稿は、ブロック座標降下やその他の離散的行動法が非同期更新下でも収束することを証明し、その適用範囲を拡張する。
• キューイングプロセスを用いて構築された近似倍数は、真の双対最適解に収束し、誤差はスコロホド距離によって上限が与えられる。
• 双対ギャップは $ O(1/k) $ で上界が与えられ、倍数誤差 $ orm{oldsymbol{ u}_k^ullet - oldsymbol{ u}^*}_{ ext{infty}} $ も $ O(1/k) $ で上限が与えられ、収束が保証される。
• 通信遅延や更新の時間スケールのばらつきを許容するフレームワークであり、有界な近似誤差のもとで収束が保たれる。
• 状態偏差のノルムの上限は $ orm{oldsymbol{S}_k}_{ ext{infty}} \leq (|D|-1)\underline{S} $ であり、これはプライム変数近似の誤差を制御する。