[論文レビュー] Markov Decision Policies for Dynamic Video Delivery in Wireless Caching Networks

Minseok Choi, Albert No+2 more|arXiv (Cornell University)|Feb 28, 2019

Caching and Content Delivery参考文献 33被引用数 4

ひとこと要約

本稿は、リャプノフ最適化とマルコフ決定過程（MDP）を用いて、キャッシュノードの関連付け、動画品質、チャンク送信量を統合最適化する、無線キャッシュネットワークにおける動的動画配信ポリシーを提案する。この手法は、高水準の時間平均動画品質と低遅延のバランスを図り、性能を調整可能なシステムパラメータ $V$ を用いて、既存の手法を上回る性能を達成する。

ABSTRACT

This paper proposes a video delivery strategy for dynamic streaming services which maximizes time-average streaming quality under a playback delay constraint in wireless caching networks. The network where popular videos encoded by scalable video coding are already stored in randomly distributed caching nodes is considered under adaptive video streaming concepts, and distance-based interference management is investigated in this paper. In this network model, a streaming user makes delay-constrained decisions depending on stochastic network states: 1) caching node for video delivery, 2) video quality, and 3) the quantity of video chunks to receive. Since wireless link activation for video delivery may introduce delays, different timescales for updating caching node association, video quality adaptation, and chunk amounts are considered. After associating with a caching node for video delivery, the streaming user chooses combinations of quality and chunk amounts in the small timescale. The dynamic decision making process for video quality and chunk amounts at each slot is modeled using Markov decision process, and the caching node decision is made based on the framework of Lyapunov optimization. Our intensive simulations verify that the proposed video delivery algorithm works reliably and also can control the tradeoff between video quality and playback latency.

研究の動機と目的

• ユーザーのネットワーク状態や移動性に応じて変化する環境において、動的動画配信の課題に対処すること。
• 遅延制約のもとで、キャッシュノードの関連付け、動画品質レベル、送信する動画チャンク数という3つの相互に依存する意思決定を最適化すること。
• 確率的で時間変動するネットワーク環境において、時間平均の動画品質を最大化すると同時に、再生遅延を許容できる範囲に保つこと。
• ノード関連付けはゆっくり更新するのに対し、品質とチャンクサイズはMDPを用いて迅速に適応する、マルチタイムスケール意思決定フレームワークを導入すること。
• リャプノフ最適化パラメータ $V$ を用いて、動画品質と再生遅延の間のトレードオフを調整可能にすること。

提案手法

• 高速タイムスケール意思決定（動画品質とチャンク量）を、状態依存の行動を捉えるためにマルコフ決定過程（MDP）でモデル化する。
• フレームベースのリャプノフ最適化を用いて、遅いタイムスケールでのキャッシュノード関連付け意思決定を管理し、安定性と遅延制約を確保する。
• ドリフト＋ペナルティ最小化の形で問題を定式化し、動画品質の最大化と遅延回避のバランスを取る。
• 動的プログラミングを適用してMDP部を解き、現在のチャネル状態とキュー状態に基づいて、各タイムスロットにおける最適な品質・チャンク組み合わせを決定する。
• MDPポリシーとリャプノフに基づくノード関連付けポリシーを統合し、異なるタイムスケールにわたる意思決定の共同最適化を可能にする。
• スケーラブルビデオコーディング（SVC）を活用し、同じ動画の異なる品質レイヤーを個別にキャッシュおよび配信可能にする。

実験結果

リサーチクエスチョン

• RQ1 遅延制約を伴う動的無線キャッシュネットワークにおいて、キャッシュノードの関連付け、動画品質、チャンク送信量をどのように統合最適化できるか？
• RQ2 異なるタイムスケールが、モバイルで確率的な環境下での動画配信ポリシーの性能に与える影響は何か？
• RQ3 リャプノフ最適化フレームワークは、動画品質と再生遅延のバランスを効果的にとることができ、安定性を維持できるか？
• RQ4 本手法は、『最も強い』『最高品質』『ワンステップ』といった静的またはヒューリスティックなポリシーと比較して、品質と遅延のトレードオフにおいてどのように優れているか？
• RQ5 システムパラメータ $V$ を用いて、動画品質と再生遅延のトレードオフをどの程度調整可能か？

主な発見

• 提案手法は、『最も強い』および『最高品質』の手法よりも顕著に高い平均動画品質を達成しながら、『最も強い』と同等の再生遅延発生率を維持している。
• 『ワンステップ』手法は、$V$ が低い場合に高い品質を達成するが、遅延性能が著しく悪いため、遅延を効果的に制御できないことが示された。
• $V$ が増加するにつれて、提案手法は遅延発生率の増加を最小限に抑えつつ動画品質を向上させ、品質-遅延トレードオフの効果的な調整が可能であることを示している。
• 提案手法は、SINRレベルの変動に対しても頑健な性能を維持しており、高干渉下で著しく劣化する『最高品質』手法を上回っている。
• 『最も強い』ポリシーは、強いチャネル選択によりSINRレベルにかかわらず安定した遅延性能を示すが、同じ遅延制約下で提案手法はより高い品質を達成している。
• 異なる指標やパrameter設定においても、各手法の性能順位は一貫しており、提案手法の信頼性と優位性が確認された。