[論文レビュー] Towards Wi-Fi AP-Assisted Content Prefetching for On-Demand TV Series: A Reinforcement Learning Approach

Wen Hu, Yichao Jin+3 more|arXiv (Cornell University)|Mar 10, 2017

Caching and Content Delivery参考文献 25被引用数 4

ひとこと要約

本論文は、Wi-Fiアクセスポイント（AP）を用いた強化学習ベースのコンテンツプリフェッチフレームワークを提案し、スタートアップ遅延とバッファリングを低減することで、オンデマンドTVシリーズのQoEを向上させることを目的としている。プリフェッチ意思決定を、ストレージ、伝送、遅延コストのバランスを取るマルコフ決定過程（MDP）としてモデル化することで、提案手法はランダムベースライン比で80%のヒットレートと70%のコスト削減を達成し、実際のユーザーデータトレースを用いたトレース駆動実験において、ヒューリスティックおよびオフラインベースラインを上回る性能を示した。

ABSTRACT

The emergence of smart Wi-Fi APs (Access Point), which are equipped with huge storage space, opens a new research area on how to utilize these resources at the edge network to improve users' quality of experience (QoE) (e.g., a short startup delay and smooth playback). One important research interest in this area is content prefetching, which predicts and accurately fetches contents ahead of users' requests to shift the traffic away during peak periods. However, in practice, the different video watching patterns among users, and the varying network connection status lead to the time-varying server load, which eventually makes the content prefetching problem challenging. To understand this challenge, this paper first performs a large-scale measurement study on users' AP connection and TV series watching patterns using real-traces. Then, based on the obtained insights, we formulate the content prefetching problem as a Markov Decision Process (MDP). The objective is to strike a balance between the increased prefetching&storage cost incurred by incorrect prediction and the reduced content download delay because of successful prediction. A learning-based approach is proposed to solve this problem and another three algorithms are adopted as baselines. In particular, first, we investigate the performance lower bound by using a random algorithm, and the upper bound by using an ideal offline approach. Then, we present a heuristic algorithm as another baseline. Finally, we design a reinforcement learning algorithm that is more practical to work in the online manner. Through extensive trace-based experiments, we demonstrate the performance gain of our design. Remarkably, our learning-based algorithm achieves a better precision and hit ratio (e.g., 80%) with about 70% (resp. 50%) cost saving compared to the random (resp. heuristic) algorithm.

研究の動機と目的

• AP支援型コンテンツプリフェッチにおける動的なサーバーロードと変動するユーザービデオ視聴パターンの課題に対処すること。
• プリフェッチコスト（ストレージ、帯域幅、遅延）とユーザービデオ体験品質（QoE）のトレードオフをバランスさせること。
• スマートAPのストレージを活用し、ユーザービヘイビアパターンから学習するオンラインで適応可能なプリフェッチ戦略を設計すること。
• 実世界のトレースを用いて、提案手法の性能をランダム、ヒューリスティック、オフラインベースラインと比較すること。

提案手法

• ユーザーデバイスのAP接続状況と視聴行動に基づく状態遷移をモデル化することで、コンテンツプリフェッチ問題をマルコフ決定過程（MDP）として定式化する。
• QoEの向上（例：スタートアップ遅延の低減、ヒットレートの向上）とコスト（例：ストレージ、伝送、リソース競合）の両方をバランスさせる報酬関数を定義する。
• 履歴ユーザートレースからオンラインで適応的に学習する強化学習エージェントを実装し、最適なプリフェッチポリシーを学習する。
• 8.5KのTVシリーズ、1.8MのTVシリーズセッション、270Mのユーザ-AP接続トレースを用いて、モデルの学習と評価を実施する。
• 性能の上限を評価するため、ランダム固定、ヒューリスティック、最適なオフラインアルゴリズムという3つのベースラインとRLエージェントを比較する。
• 大規模な状態空間に対処し、リアルタイム展開における収束を保証するために、関数近似と探索戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーデバイスのAP接続パターンとTVシリーズ視聴行動は時間経過とともにどのように変化するか。また、それらからプリフェッチに何のインサイトが得られるか。
• RQ2 動的で時間変動するサーバーロード環境下で、プリフェッチコストとユーザービデオ体験品質（QoE）の最適なトレードオフは何か。
• RQ3 実世界のトレース環境において、強化学習ベースのアプローチは、静的またはヒューリスティックなプリフェッチポリシーを上回ることができるか。
• RQ4 提案手法は、ネットワーク状態やユーザービヘイビアの変化にどのように適応し、コストを最小限に抑えながらヒットレートを最大化できるか。

主な発見

• 60%以上のユーザーデバイスが、トップ1つのAPによって50%以上のAP接続をカバーしており、90%以上がトップ5つのAPによってカバーされており、APへの強いロイヤルティと安定した接続性が示された。
• ユーザーデバイスは時間的・順序的なパターンを強く示しており、同じTVシリーズの連続エピソードを頻繁に視聴する傾向があるため、効果的な予測が可能である。
• 提案された強化学習アルゴリズムは、ランダムベースライン比で70%のコスト削減、ヒューリスティックベースライン比で50%のコスト削減を達成した。
• RLベースの手法は80%のヒットレートを達成し、ランダムベースラインを著しく上回り、動的サーバーロード環境への強い適応性を示した。
• オフライン最適アルゴリズムは、ほぼ完璧なヒットレートを達成し、学習ベース手法の性能がこの上限に近づくことを裏付けた。
• 本システムは、スマートAPのストレージと学習ベースプリフェッチの組み合わせが、ピーク時間帯のネットワーク負荷を顕著に低減し、ユーザービデオ体験品質を向上させられることを示した。