[論文レビュー] Convex Hull Prediction for Adaptive Video Streaming by Recurrent Learning

Somdyuti Paul, Andrey Norkin+1 more|arXiv (Cornell University)|Jun 10, 2022

Image and Video Quality Assessment被引用数 4

ひとこと要約

本稿では、再帰的畳み込みネットワーク（RCN）モデルであるRCN-Hullを提案する。このモデルは、適応型動画ストリーミングのビットレートラダー用に、各ショットごとの凸包を予測することで、事前エンコード時間を顕著に短縮する。空間的・時間的特徴をConv-GRUsを用いて活用し、2段階のトランスファーラーニング戦略を採用することで、平均58.0%の時間削減を達成し、正解値からの平均BDレートは0.08%、平均絶対誤差は0.44%にとどまる。従来のプロキシベースおよび特徴ベース手法を上回る性能を発揮した。

ABSTRACT

Adaptive video streaming relies on the construction of efficient bitrate ladders to deliver the best possible visual quality to viewers under bandwidth constraints. The traditional method of content dependent bitrate ladder selection requires a video shot to be pre-encoded with multiple encoding parameters to find the optimal operating points given by the convex hull of the resulting rate-quality curves. However, this pre-encoding step is equivalent to an exhaustive search process over the space of possible encoding parameters, which causes significant overhead in terms of both computation and time expenditure. To reduce this overhead, we propose a deep learning based method of content aware convex hull prediction. We employ a recurrent convolutional network (RCN) to implicitly analyze the spatiotemporal complexity of video shots in order to predict their convex hulls. A two-step transfer learning scheme is adopted to train our proposed RCN-Hull model, which ensures sufficient content diversity to analyze scene complexity, while also making it possible to capture the scene statistics of pristine source videos. Our experimental results reveal that our proposed model yields better approximations of the optimal convex hulls, and offers competitive time savings as compared to existing approaches. On average, the pre-encoding time was reduced by 53.8% by our method, while the average Bjontegaard delta bitrate (BD-rate) of the predicted convex hulls against ground truth was 0.26%, and the mean absolute deviation of the BD-rate distribution was 0.57%.

研究の動機と目的

• 適応型動画ストリーミングにおける各ショットごとの凸包生成にかかる高コストな計算および時間的負荷を低減すること。
• 全事前エンコードを実施せずに、コンテンツに応じた最適なビットレート-品質ポイントを予測することで、ビットレートラダー最適化を可能にすること。
• 動画ショット内の長距離にわたる空間的・時間的複雑性を捉える深層学習モデルを構築し、正確な凸包推定を実現すること。
• 従来手法と比較して、高い精度を維持しながら顕著な時間的節約を達成すること。
• トランスファーラーニングとエンドツーエンド学習を用いて、多様な動画コンテンツおよびショット長に一般化可能であることを目指すこと。

提案手法

• 空間的および時間的特徴を同時にモデル化できる、Conv-GRUsに基づく再帰的畳み込みネットワーク（RCN）を用いる。
• モデルは2段階のトランスファーラーニングスキームで訓練される：まず多様な動画ショットデータセットで学習し、その後、本物のソース動画でファインチューニングすることで、シーン統計を捉える。
• 各ショットの300フレームのクリップから空間的・時間的特徴を抽出し、シーンの複雑さを表現するとともに、凸包点を予測する。
• RCN-Hullモデルは、完全な事前エンコードなしで真の凸包を近似するPareto最適なレート-品質点を予測する。
• モデルの性能は、正解値およびベースライン手法との比較において、BDレート、平均絶対誤差（MAD）、および時間削減率を用いて評価される。
• モデルは6つのテストシーケンスおよび2〜3秒程度の短い動画セグメントで検証され、ショット長にわたる堅牢性が示された。

実験結果

リサーチクエスチョン

• RQ1 全事前エンコードを実施せずに、深層学習モデルが動画ショットの凸包を正確に予測できるか？
• RQ2 RCN-Hullモデルは、プロキシベースおよび手作業特徴ベースの手法と比較して、予測精度および時間効率の面で優れているか？
• RQ3 モデルは、さまざまなショット長および動画コンテンツタイプにどの程度一般化可能か？
• RQ4 2段階のトランスファーラーニング戦略が、モデル性能および学習効率に与える影響は何か？
• RQ5 モデルは、正解の凸包からのBDレート偏差を低く保ちながら、顕著な時間的節約を達成できるか？

主な発見

• RCN-Hullモデルは、全事前エンコードと比較して平均58.0%の時間削減を達成し、補間ベースおよびプロキシベース手法を顕著に上回った。
• 予測された凸包の平均BDレートは0.08%であり、正解のレート-品質曲線にほぼ最適に近い近似であることを示した。
• BDレート分布の平均絶対誤差（MAD）は0.44%であり、予測の分散が小さく、信頼性が高いことを示した。
• 短い動画ショット（2〜3秒）に対しても、モデルは優れた性能を維持し、最大70.1%の時間削減と±1%以内のBDレートを達成した。
• 特に長時間および高解像度のシーケンスにおいて、RCN-Hullはプロキシベースおよび特徴ベースモデルを精度（低いBDレートおよびMAD）と速度の両面で上回った。
• 「Wildlife」や「Aspen」のようなシーケンスでは、最小限の偏差で一貫した性能を示し、「Into Tree」ではわずかな誤差しか生じなかった。