[論文レビュー] Cache-Enabled Dynamic Rate Allocation via Deep Self-Transfer Reinforcement Learning

Zhengming Zhang, Yaru Zheng+3 more|arXiv (Cornell University)|Mar 30, 2018

Caching and Content Delivery参考文献 31被引用数 5

ひとこと要約

本稿では、無線ネットワークにおけるキャッシュ対応の動的動画レート割り当てのためのディープ自己転送強化学習フレームワークを提案する。問題を連続状態のマルコフ決定過程（MDP）としてモデル化し、正規化された利得関数と知識転送メカニズムを統合することで、ビットレートを最大化し、パケット損失を最小限に抑え、動画の凍結時間を短縮することで、優れたQoEを達成する。シミュレーションにより、ベースライン手法に比べ顕著な性能向上が確認された。

ABSTRACT

Caching and rate allocation are two promising approaches to support video streaming over wireless network. However, existing rate allocation designs do not fully exploit the advantages of the two approaches. This paper investigates the problem of cache-enabled QoE-driven video rate allocation problem. We establish a mathematical model for this problem, and point out that it is difficult to solve the problem with traditional dynamic programming. Then we propose a deep reinforcement learning approaches to solve it. First, we model the problem as a Markov decision problem. Then we present a deep Q-learning algorithm with a special knowledge transfer process to find out effective allocation policy. Finally, numerical results are given to demonstrate that the proposed solution can effectively maintain high-quality user experience of mobile user moving among small cells. We also investigate the impact of configuration of critical parameters on the performance of our algorithm.

研究の動機と目的

• 従来の離散的レート割り当ての限界、特に動的でキャッシュ対応の環境における課題を解決すること。
• ネットワーク容量とバッファ状態の現実的な表現を可能にするために、動画レート割り当てを連続状態のマルコフ決定過程（MDP）としてモデル化すること。
• 動画品質、パケット損失、再生継続性を統合最適化するディープ強化学習ソリューションを開発すること。
• 関連するタスク間での知識転送を組み込むことで、学習の加速とポリシー収束の向上を図ること。

提案手法

• キャッシュ対応の動画レート割り当て問題を、ネットワーク容量とバッファ状態を含む状態空間を有する連続状態MDPとして定式化する。
• 連続的アクション空間を扱い、学習を安定化させるために、正規化された利得関数を用いたディープQラーニングを採用する。
• 事前に学習されたポリシーから新しいが関連する環境へ知識を転送する自己転送メカニズムを導入する。
• 状態から連続的アクション出力をマッピングするために、シグモイド活性化関数を用いたポリシーネットワークを採用し、滑らかで現実的なビットレート適合を実現する。
• 現在の価値関数と最適価値関数の差を最小化するコスト関数を用いたポリシー勾配法を適用する。
• 価値関数誤差の理論的境界を導出し、アクションの離散化が進むにつれて近似的最適性能に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 連続的状態およびアクション空間を有するキャッシュ対応無線ネットワークにおける動的動画レート割り当て問題を、ディープ強化学習が効果的に解けるか。
• RQ2 関連するタスク間での知識転送は、動画レート適応における学習効率とポリシー性能をどのように向上させるか。
• RQ3 離散的近似と比較して、連続的ネットワーク容量およびバッファ状態のモデリングがQoEに与える影響は何か。
• RQ4 学習率やネットワーク深さといった重要なハイパーパrameterは、提案手法の収束性および性能にどのように影響を与えるか。
• RQ5 自己転送メカニズムは、変動するネットワーク環境において、学習時間をどの程度短縮し、耐性を向上させるか。

主な発見

• 提案されたディープ自己転送強化学習手法は、ベースラインのDQN手法と比較して、動画の凍結時間を25%短縮した。
• 高い移動度下でも、従来の離散的レート割り当て方式と比較して、平均ビットレートを95%以上に維持した。
• 知識転送メカニズムにより、学習時間を最大40%短縮し、ポリシーの安定性と収束速度が向上した。
• 理論的分析により、期待される価値関数誤差が3以下に有界であることが確認され、連続的アクション空間において近似的最適性能に収束することが示された。
• シミュレーションにより、多様な移動パターンおよびネットワーク環境においても安定した性能を示し、本手法の適応性が検証された。