[論文レビュー] Energy-Efficient Multi-Codec Bitrate-Ladder Estimation for Adaptive Video Streaming

Vignesh V Menon, Reza Farahani+4 more|arXiv (Cornell University)|Oct 14, 2023

Image and Video Quality Assessment被引用数 5

ひとこと要約

本稿では、新しい世代のコーデック（HEVC、AV1）が視認的にAVCを上回らない場合に、それらの重複する表現を排除することで、適応動画ストリーミングにおけるエンコード、ストレージ、送信のエネルギー消費を削減するオンラインでエネルギー効率の良いマルチコーデックビットレートラダー推定手法MCBEを提案する。VMAFスコアの予測にランダムフォレストモデルとJND閾値を用いることで、業界標準のHLSラダーと比較して、エンコードエネルギーを最大56.45%、ストレージエネルギーを94.99%、送信エネルギーを77.61%削減する。

ABSTRACT

With the emergence of multiple modern video codecs, streaming service providers are forced to encode, store, and transmit bitrate ladders of multiple codecs separately, consequently suffering from additional energy costs for encoding, storage, and transmission. To tackle this issue, we introduce an online energy-efficient Multi-Codec Bitrate ladder Estimation scheme (MCBE) for adaptive video streaming applications. In MCBE, quality representations within the bitrate ladder of new-generation codecs (e.g., High Efficiency Video Coding (HEVC), Alliance for Open Media Video 1 (AV1)) that lie below the predicted rate-distortion curve of the Advanced Video Coding (AVC) codec are removed. Moreover, perceptual redundancy between representations of the bitrate ladders of the considered codecs is also minimized based on a Just Noticeable Difference (JND) threshold. Therefore, random forest-based models predict the VMAF score of bitrate ladder representations of each codec. In a live streaming session where all clients support the decoding of AVC, HEVC, and AV1, MCBE achieves impressive results, reducing cumulative encoding energy by 56.45%, storage energy usage by 94.99%, and transmission energy usage by 77.61% (considering a JND of six VMAF points). These energy reductions are in comparison to a baseline bitrate ladder encoding based on current industry practice.

研究の動機と目的

• AVC、HEVC、AV1などの現代の動画コーデックにおいて、複数ビットレートラダーを処理する際の高いエネルギーコストを低減すること。
• 旧世代コーデック（例：AVC）がレート・ディストーション性能で優れているにもかかわらず、新世代コーデック（HEVC、AV1）の表現を重複してエンコード・ストレージする現在のマルチコーデックストリーミング手法の非効率性を是正すること。
• 6 VMAFポイントのJND（最小知覚差）閾値を用いることで、コーデック間の視認的冗長性を最小限に抑えること。
• 視認的品質を損なわず、エネルギー効率を最適化するオンラインで低レイテンシなビットレートラダー推定手法を開発すること。
• ストリーミングサービスプロバイダーが、知的なコーデック表現選択により運用コストと環境への影響を顕著に低減できることを可能にすること。

提案手法

• MCBEフレームワークは、低複雑度の空間的・時間的特徴量を用いてトレーニングされたランダムフォレストモデルを用い、複数のコーデックにおける各ビットレートラダー表現のVMAFスコアを予測する。
• 同じビットレートでAVCのレート・ディストーション曲線を下回る予測VMAFスコアを示す新世代コーデック（HEVC、AV1）の表現は、ビットレートラダーから削除される。
• JND閾値に基づき、ある表現のVMAFスコアが他の表現と6 VMAFポイント以内にある場合、視認的冗長性が最小限に抑えられる。
• 本手法はオンラインで動作し、特徴抽出速度は370 fps、4秒間の2160pセグメントに対する総推論時間は0.37秒であり、レイテンシに与える影響は無視できる。
• 本システムは、HLS、OPTE、JTPSなど既存のビットレートラダー推定方式と互換性があり、ライブストリーミングパイプラインへの統合が可能である。
• エンコードのエネルギー消費はCodeCarbonを用いてモデル化され、ストレージのエネルギー消費はビットあたりの消費電力モデルを用いて、エンコード、ストレージ、送信のエネルギー削減を定量的に評価する。

Figure 1 : An example of a multi-codec streaming system.

実験結果

リサーチクエスチョン

• RQ1 AVCがレート・ディストーション性能で優れている場合に、新世代コーデック（HEVC、AV1）の重複表現を削除しても、視認的品質に損なわれないか？
• RQ2 JNDに基づく閾値を用いることで、マルチコーデックビットレートラダー表現間の視認的冗長性はどの程度低減可能か？
• RQ3 MCBEを適用することで、最先端のビットレートラダー方式と比較して、エンコード、ストレージ、送信の各段階でどの程度のエネルギー削減が達成できるか？
• RQ4 MCBEをオンラインライブストリーミングパイプラインに統合した際のレイテンシのオーバーヘッドはどの程度か？
• RQ5 低複雑度の特徴量を用いたVMAF予測の精度は、ビットレートラダー最適化を支援する上でどの程度妥当か？

主な発見

• AVC、HEVC、AV1のデコーダーをサポートするデバイス上で、6 VMAFポイントのJND閾値を適用した場合、MCBEはHLSビットレートラダーと比較して累積エンコードエネルギーを56.45%削減する。
• HLSベースラインと比較してストレージエネルギー使用量が94.99%削減され、これは保存データ量が77.61%削減されたことによる。
• HLSベースラインと比較して送信エネルギー使用量が77.61%削減され、送信される表現の数が減少したことが要因である。
• VMAF予測の平均絶対誤差（MAE）は2.42であり、これはライブストリーミング応用において許容可能な水準である。
• 4秒間の2160p動画セグメントに対してMCBEが追加するレイテンシはわずか0.37秒であり、リアルタイム展開に適している。
• 本手法は、視認的品質とエネルギー効率に基づいた重複表現の削除により、エンコード、ストレージ、送信の各段階で顕著なエネルギー削減を達成する。

(a) Basketball_s000