[論文レビュー] Real-world Video Adaptation with Reinforcement Learning

Hongzi Mao, Shannon Chen+6 more|arXiv (Cornell University)|Aug 28, 2020

Image and Video Quality Assessment参考文献 32被引用数 44

ひとこと要約

本論文は ABRL を提案し、Facebook の本番ウェブプラットフォームにデプロイされた RL ベースの適応型ビットレート（ABR）システムで、カスタムのネットワーク認識アーキテクチャ、分散変動低減トレーニング、そして制約付きベイズ最適化を用いて、手調整された ABR ポリシーを打ち負かすリアルワールドの課題に対処する。

ABSTRACT

Client-side video players employ adaptive bitrate (ABR) algorithms to optimize user quality of experience (QoE). We evaluate recently proposed RL-based ABR methods in Facebook's web-based video streaming platform. Real-world ABR contains several challenges that requires customized designs beyond off-the-shelf RL algorithms -- we implement a scalable neural network architecture that supports videos with arbitrary bitrate encodings; we design a training method to cope with the variance resulting from the stochasticity in network conditions; and we leverage constrained Bayesian optimization for reward shaping in order to optimize the conflicting QoE objectives. In a week-long worldwide deployment with more than 30 million video streaming sessions, our RL approach outperforms the existing human-engineered ABR algorithms.

研究の動機と目的

• 実世界の大規模ストリーミングにおいてヒューリスティックなポリシーを上回る本番環境用 ABR アルゴリズムの創出を動機づける。
• 任意のビットレートエンコーディングをサポートするスケーラブルな RL アーキテクチャを開発する。
• 確率的なネットワーク条件とパフォーマンスフィードバックの分散に対処するトレーニング手法を設計する。
• 制約付き最適化と報酬設計によって複数の QoE 目的を共最適化する。
• 学習したポリシーを前端デプロイの安全性と保守性のために解釈可能な形へ翻訳する。

提案手法

• 再生バッファのダイナミクスをモデル化し、チャンクごとのネットワークおよびビットレートデータを記録するシミュレータを構築する。
• 各ビットレートの優先度値を出力するニューラルネットワークポリシーと、ビットレート上のソフトマックスを用いたポリシー勾配 RL フレームワークを使用する。
• 確率的なネットワークトレースと視聴時間によって生じる報酬の分散を低減するために入力依存のベースラインを適用する。
• 報酬設計を、ガウス過程の代理モデルと Noisy Expected Improvement を用いたベイズ最適化で解く制約付き多目的最適化として定式化する。
• 学習したニューラルポリシーを前端デプロイのための解釈可能な線形モデルへ翻訳する。
• 翻訳したポリシーを Facebook の本番プラットフォームに展開し、約 3000 万セッションの A/B テストで評価する。

実験結果

リサーチクエスチョン

• RQ1 RL ベースの ABR ポリシーは大規模な本番環境で既存のヒューリスティック ABR アルゴリズムを上回ることができるか？
• RQ2 多様なネットワークトレースとビデオ時間に対して ABR ポリシーをどのように頑健に訓練できるか？
• RQ3 本番環境で安定した RL 訓練を可能にする報酬設計と分散低減技術は何か？
• RQ4 学習したポリシーを解釈可能な形へ翻訳することがデプロイの安全性と保守性に与える影響は何か？

主な発見

• ABRL は本番 ABR ポリシーと比較して平均ビットレートを 1.6% 増加させた。
• ABRL は 1 週間の世界規模展開で平均的にスタール率を 0.4% 減少させた。
• 遅いネットワーク条件では、ABRL はビットレートを 5.9% 高く、スタールを 2.4% 減らした。
• 入力依存ベースラインによる分散低減は総報酬を約 12% 向上させ、収束を速めた。
• ポリシーを線形モデルへ翻訳することは、シミュレーションでスタールが約 0.8%、品質が約 0.6%悪化するという解釈性と安全性のトレードオフを反映している。