[論文レビュー] Learning Augmented Index Policy for Optimal Service Placement at the Network Edge

Guojun Xiong, Rahul Singh+1 more|arXiv (Cornell University)|Jan 10, 2021

Age of Information Optimization参考文献 54被引用数 6

ひとこと要約

本稿では、ネットワークエッジにおけるサービス配置を最適化し、サービス配信遅延を最小化するための学習補強付きウォーサー指数ポリシーを提案する。単一サービスMDPの閾値構造を活用し、明示的なウォーサー指数を導出することで、学習レジームが低く、最適性能に収束するUCB-ウォーサーとQ-学習-ウォーサーのアルゴリズムを提案。シミュレーションにおいて、保証付きの理論的性能を備えた標準的なRLベースラインを著しく上回る。

ABSTRACT

We consider the problem of service placement at the network edge, in which a decision maker has to choose between $N$ services to host at the edge to satisfy the demands of customers. Our goal is to design adaptive algorithms to minimize the average service delivery latency for customers. We pose the problem as a Markov decision process (MDP) in which the system state is given by describing, for each service, the number of customers that are currently waiting at the edge to obtain the service. However, solving this $N$-services MDP is computationally expensive due to the curse of dimensionality. To overcome this challenge, we show that the optimal policy for a single-service MDP has an appealing threshold structure, and derive explicitly the Whittle indices for each service as a function of the number of requests from customers based on the theory of Whittle index policy. Since request arrival and service delivery rates are usually unknown and possibly time-varying, we then develop efficient learning augmented algorithms that fully utilize the structure of optimal policies with a low learning regret. The first of these is UCB-Whittle, and relies upon the principle of optimism in the face of uncertainty. The second algorithm, Q-learning-Whittle, utilizes Q-learning iterations for each service by using a two time scale stochastic approximation. We characterize the non-asymptotic performance of UCB-Whittle by analyzing its learning regret, and also analyze the convergence properties of Q-learning-Whittle. Simulation results show that the proposed policies yield excellent empirical performance.

研究の動機と目的

• リソース制約のあるエッジネットワークにおいて、未知かつ時間変動するリクエストおよびサービスレートを伴う平均的なサービス配信遅延を最小化する課題に対処すること。
• 単一サービス最適ポリシーの閾値構造を活用することで、全NサービスMDPを解く際の次元の呪いを克服すること。
• ウォーサー指数ポリシーの構造的性質を活用した、効率的で適応的なサービス配置のための学習補強付き強化学習アルゴリズムを開発すること。
• 確率的で部分的に観測可能な環境において、提案されたアルゴリズムの有限時間性能保証（例：学習のレジームバウンド）を提供すること。

提案手法

• エッジにおける各サービスの待ち受け顧客数を状態とする連続時間MDPとして、サービス配置問題を定式化する。
• 単一サービスの最適ポリシーが閾値構造を持つことを証明し、リクエストレートおよびサービスレートに基づいてウォーサー指数の閉形式表現を導出する。
• 未知のシステムパラメータの学習において、不確実性に対する楽観的アプローチ（オプティミズム）を用いたUCB-ウォーサーを設計する。これにより、探索と活用のバランスが図られる。
• 2段階時間スケールの確率的近似アルゴリズムとしてのQ-学習-ウォーサーを構築し、各サービスのQ値を学習しつつ、ウォーサー指数構造を活用して収束性を向上させる。
• ウォーサー指数の構造的インサイトを学習プロセスに統合することで、有効な状態空間を縮小し、標準的なRL手法の指数的スケーリングを回避する。
• UCB-ウォーサーの非漸近的学習レジームとQ-学習-ウォーサーの収束性を分析し、理論的性能保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 単一サービスの最適なサービス配置ポリシーは閾値構造で特徴付けられ、そのウォーサー指数は閉形式で導出可能か？
• RQ2 リクエストレートおよびサービスレートが未知かつ時間変動する状況下で、ウォーサー指数ポリシーはどのように学習設定に適応可能か？
• RQ3 UCB-ウォーサーはウォーサー指数構造を活用することで、低レジームを達成できるか？また、そのレジームはサービス数にどのように依存するか？
• RQ4 2段階時間スケールの確率的近似において、Q-学習-ウォーサーは最適ポリシーに収束するか？実際の応用において、標準的なQ-学習と比べてどのように差がつくか？
• RQ5 構造的インサイトを活用する学習補強付きアルゴリズムは、ε-グリーディQ-学習などの標準的なRLベースラインを、遅延と学習効率の面で上回ることができるか？

主な発見

• UCB-ウォーサーは、時間に比例してサブ線形に増加する学習レジームを達成し、ウォーサー指数構造を活用しながら未知のシステムパラメータを効率的に学習する。
• Q-学習-ウォーサーは2段階時間スケールの確率的近似において最適ポリシーに収束し、学習プロセスの収束に対して理論的保証が得られる。
• UCB-ウォーサーとQ-学習-ウォーサーの両方において、期待コストの平均二乗誤差（MSE）は、エピソード数の増加に伴い真のウォーサー指数値に収束する。
• シミュレーション結果から、両提案アルゴリズムは、遅延低減と学習効率の面で、従来のε-グリーディQ-学習ベースラインを著しく上回ることが示された。
• サービス数が増加する際、UCB-ウォーサーはわずかにQ-学習-ウォーサーを上回るが、両者とも強力な性能を維持し、漸近的最適性を保つ。
• 両アルゴリズムの性能は、サービス数の増加に伴い単調に向上し、大規模なエッジネットワークにおけるスケーラビリティとロバストネスを示している。