[論文レビュー] Optimal Routing for Delay-Sensitive Traffic in Overlay Networks

Rahul Singh, Eytan Modiano|arXiv (Cornell University)|Mar 21, 2017

Advanced Wireless Network Optimization参考文献 47被引用数 4

ひとこと要約

本稿では、下位層のリンクがFIFOのような静的ポリシーを用いるが、上位層のノードのみがルーティング意思決定を行うネットワークにおける遅延に敏感なトラフィック向けに、分散型で適応可能なオーバーレイルーティングポリシーを提案する。マルチタイムスケール確率的近似とリプロダクタダイナミクスを用い、下位層ネットワークの特性を事前に知らなくても、エクスプロレーションとエクsploitationの最適なバランスを図ることで、エンドツーエンド遅延を最小化する。シミュレーションでは、既存手法を上回る性能を発揮する。

ABSTRACT

We design dynamic routing policies for an overlay network which meet delay requirements of real-time traffic being served on top of an underlying legacy network, where the overlay nodes do not know the underlay characteristics. We pose the problem as a constrained MDP, and show that when the underlay implements static policies such as FIFO with randomized routing, then a decentralized policy, that can be computed efficiently in a distributed fashion, is optimal. Our algorithm utilizes multi-timescale stochastic approximation techniques, and its convergence relies on the fact that the recursions asymptotically track a nonlinear differential equation, namely the replicator equation. Extensive simulations show that the proposed policy indeed outperforms the existing policies.

研究の動機と目的

• 下位層のレガシーネットワークの特性を知らない状態でも、厳密なエンドツーエンド遅延要件を満たす動的で分散型のオーバーレイネットワークルーティングポリシーを設計すること。
• オーバーレイノードが、探索と活用のバランスを取って低遅延経路を発見する必要がある制約付き環境におけるオンライン学習の課題に対処すること。
• グローバルな遅延制約を局所的なリンクレベルのキュー閾値に分解し、リンク価格を用いて最適で協調的なルーティング行動を誘導すること。
• オンライン学習、価格適応、キュー閾値調整を統合した三層構造の制御アーキテクチャを構築し、安定的で低遅延な運用を実現すること。
• 軽負荷および重負荷の両方のネットワーク負荷条件下でも性能のロバストネスを保証すること。

提案手法

• 平均遅延制約を含む制約付きマルコフ決定過程（MDP）として問題を定式化し、リトルの法則を用いて平均キュー長の上限に変換する。
• 三層構造の価格ベースオーバーレイコントローラ（POC）を導入し、(1) オーバーレイノードによるルーティング意思決定、(2) リンク価格コントローラ、(3) キュー閾値調整器を含む。
• マルチタイムスケール確率的近似を用い、最適ルーティングポリシーの学習とリンク価格の適応を同時に実行し、最適解への収束を保証する。
• リンク価格の進化をモデル化するために非線形常微分方程式（ODE）としてのリプロダクタダイナミクスを用い、オーバーレイノード間の分散型協調を可能にする。
• ネットワークパラメータを事前に知らない状態でも、確率的近似を用いたQ学習により、与えられた価格ベクトルに対する最適ルーティングポリシーを学習する。
• プライマル・デュアル構造と二段階の時間スケール学習を組み合わせ、ルーティングと価格適応の共同最適化問題を解く。

実験結果

リサーチクエスチョン

• RQ1 オーバーレイノードが、下位層ネットワークのトポロジーやルーティング、リンク容量を知らない状態で、遅延に敏感なトラフィックの最適ルーティングをどのように達成できるか？
• RQ2 中央集権的制御に依存せずに、エンドツーエンド遅延を所定の範囲内に保つ分散型で適応可能なルーティングポリシーを設計できるか？
• RQ3 下位層の状態情報が欠如する状況下で、効果的な探索と活用のトレードオフを実現する学習メカニズムは何か？
• RQ4 リンク価格をどのように動的に調整することで、オーバーレイノードを最適ルーティングへ誘導しつつ、グローバルな遅延制約を満たせるか？
• RQ5 時間変動するネットワーク状態下でも、提案されたマルチタイムスケール学習スキームが最適解へ収束するか？

主な発見

• 提案された分散型ポリシーは、下位層ネットワークの特性を知らない状態でも、エンドツーエンド遅延の観点で最適な性能を達成する。
• リプロダクタダイナミクスを用いた価格適応により、分散型でオンライン学習が可能となり、最適ルーティングポリシーへの収束が保証される。
• 三層構造のPOCアーキテクチャは、グローバルな遅延制約を局所的なリンクレベルのキュー閾値に分解し、価格信号を用いてルーティング意思決定を協調的に制御することに成功した。
• 広範なシミュレーションにより、提案ポリシーが、さまざまなネットワーク負荷下で、遅延と安定性の両面で既存のルーティングポリシーを上回ることが示された。
• アルゴリズムは異なるトラフィック条件に対してもロバストであり、平均キュー長を低く保ち、動的なネットワーク変化下でも遅延制約を満たす。
• 非線形微分方程式（リプロダクタ方程式）の漸近的追従性により、学習アルゴリズムの収束が保証され、長期的な最適性が確保される。