[論文レビュー] The Power of Online Learning in Stochastic Network Optimization

Longbo Huang, Xin Liu+1 more|arXiv (Cornell University)|Apr 6, 2014

Advanced Wireless Network Optimization参考文献 23被引用数 5

ひとこと要約

本稿では、未知の統計を持つ確率的ネットワーク最適化において、過去のシステム情報を取り入れたリアルタイムネットワーク制御を実現するオンライン学習支援制御アルゴリズムOLACおよびOLAC2を提案する。これらの手法は、近似的に最適な効用-遅延トレードオフを達成し、統計が未知の状況下でも非線形収束時間を達成する。主な貢献は、この分野におけるオンライン学習の有効性を初めて実証した点であり、従来のラプラシアンに基づく手法と比較して、遅延と収束時間を顕著に低減した。

ABSTRACT

In this paper, we investigate the power of online learning in stochastic network optimization with unknown system statistics {\it a priori}. We are interested in understanding how information and learning can be efficiently incorporated into system control techniques, and what are the fundamental benefits of doing so. We propose two \emph{Online Learning-Aided Control} techniques, $\mathtt{OLAC}$ and $\mathtt{OLAC2}$, that explicitly utilize the past system information in current system control via a learning procedure called \emph{dual learning}. We prove strong performance guarantees of the proposed algorithms: $\mathtt{OLAC}$ and $\mathtt{OLAC2}$ achieve the near-optimal $[O(ε), O([\log(1/ε)]^2)]$ utility-delay tradeoff and $\mathtt{OLAC2}$ possesses an $O(ε^{-2/3})$ convergence time. $\mathtt{OLAC}$ and $\mathtt{OLAC2}$ are probably the first algorithms that simultaneously possess explicit near-optimal delay guarantee and sub-linear convergence time. Simulation results also confirm the superior performance of the proposed algorithms in practice. To the best of our knowledge, our attempt is the first to explicitly incorporate online learning into stochastic network optimization and to demonstrate its power in both theory and practice.

研究の動機と目的

• システム統計が事前に未知である場合の確率的ネットワーク最適化の課題に対処すること。
• 高い遅延と遅い収束を示す既存のラプラシアンに基づく手法の改善。
• オンライン学習をシステム制御に明示的に統合することで、性能を向上させることの可能性を調査すること。
• 強い理論的保証を維持しながら、低計算複雑性を保つアルゴリズムの開発。
• 動的ネットワークシステムにおける学習支援制御の実用的・理論的利点を実証すること。

提案手法

• 過去のシステム状態から最適ラグランジュ乗数を推定するための二重学習を用いる、OLACおよびOLAC2の2つのオンライン学習支援制御手法を提案。
• 双対部分勾配の収束とシステム状態の統計的収束を結びつける双対学習手順を採用し、時不変でない制御方策を可能にする。
• 非定常な制御方策を伴うシステムにおいて、ラプラシアンドリフト解析と双対性を統一するための拡張問題技法を導入。
• 確率的近似と統計的学習を用いて最適制御を学習問題に変換し、事前知識に依存する必要を低減。
• バックプレッシャーで解ける問題を含む一般の確率的ネットワーク最適化問題にフレームワークを適用し、低計算複雑性を維持。
• ランダムなチャネル状態を伴うネットワークユーティリティ最大化のシミュレーションを用いて、バックプレッシャーとの性能比較を実施。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習は、遅延と収束を改善するために確率的ネットワーク最適化に効果的に統合可能か？
• RQ2 統計が未知のシステムにおける学習支援制御の理論的性能保証は何か？
• RQ3 オンライン学習は収束時間を短縮しつつ、近似的に最適な効用-遅延トレードオフを維持可能か？
• RQ4 二重学習は、従来のラプラシアン手法と比較して、なぜより速い収束を実現できるか？
• RQ5 時不変でない、学習に基づく制御方策の収束性と性能を証明するために必要な解析的手法は何か？

主な発見

• OLACおよびOLAC2は、$[O(\theta), O((\theta)^{-2})]$ の近似的に最適な効用-遅延トレードオフを達成し、既存の最良のアルゴリズムの理論的限界と一致する。
• OLAC2は収束時間を $O(\theta^{-2/3})$ にまで短縮し、標準的なラプラシアン手法の $\theta^{-1}$ に比べ顕著な改善を示す。
• シミュレーションでは、$V=100$ の条件下で、OLACおよびOLAC2が均等なチャネル状態において、バックプレッシャーの210スロットから約20スロットに平均遅延を削減した。
• OLAC2は$V=500$ の条件下で約80時間スロットで最適ラグランジュ乗数に収束し、バックプレッシャーと比較して収束時間を約2500倍短縮した。
• OLACの仮想キュー長とOLAC2の実キュー長は急速に収束し、早期に到着したデータが最小限の待ち時間で送出可能となった。
• 二重学習メカニズムは過去のシステム情報を効果的に活用し、最適性を損なわず収束を著しく加速した。