[論文レビュー] MuZero with Self-competition for Rate Control in VP9 Video Compression

Amol Mandhane, Anton Zhernov+17 more|arXiv (Cornell University)|Feb 14, 2022

Advanced Wireless Network Optimization被引用数 13

ひとこと要約

本稿では、VP9動画圧縮の強化学習ベースのレート制御システムであるMuZero-RCを提案する。この手法は、動画品質とビットレート制約のトレードオフを最適化するための新規な自己競合報酬メカニズムを採用している。libvpxの標準的な2パスVBRレート制御と比較して、平均で6.28%のビットレート削減（PSNR BD-rateとして測定）を達成しており、制約の満たし方の向上と、多様な動画コンテンツにおける優れた計画能力を示している。

ABSTRACT

Video streaming usage has seen a significant rise as entertainment, education, and business increasingly rely on online video. Optimizing video compression has the potential to increase access and quality of content to users, and reduce energy use and costs overall. In this paper, we present an application of the MuZero algorithm to the challenge of video compression. Specifically, we target the problem of learning a rate control policy to select the quantization parameters (QP) in the encoding process of libvpx, an open source VP9 video compression library widely used by popular video-on-demand (VOD) services. We treat this as a sequential decision making problem to maximize the video quality with an episodic constraint imposed by the target bitrate. Notably, we introduce a novel self-competition based reward mechanism to solve constrained RL with variable constraint satisfaction difficulty, which is challenging for existing constrained RL methods. We demonstrate that the MuZero-based rate control achieves an average 6.28% reduction in size of the compressed videos for the same delivered video quality level (measured as PSNR BD-rate) compared to libvpx's two-pass VBR rate control policy, while having better constraint satisfaction behavior.

研究の動機と目的

• VP9エンコードにおける最適なレート制御ポリシーの学習という課題に取り組むこと。具体的には、固定ビットレート予算内で動画品質を最大化するために量子化パラメータ（QPs）を最適選択する必要がある。
• 手動で設計されたモデルに依存する伝統的なヒューリスティックなレート制御手法の限界を克服すること。これらは、多様な動画コンテンツにおける複雑で非線形なレート-歪みトレードオフに対応できず、困難を抱える。
• ブラックボックスな動画エンコーダ環境において逐次的意思決定が可能な強化学習フレームワークの開発を目的とする。この環境にはエピソード制約が存在する。
• libvpxの決定論的なVBRポリシーはしばしばターゲットビットレートを超過するが、それよりも優れたビットレート制約の満たし方を実現すること。
• コーデック固有の詳細に依存しない方法を設計することで、他のコーデックや品質指標、あるいは最小品質目標のような制約タイプへの一般化を可能とすること。

提案手法

• 本手法は、エージェントが各フレームのQP値を選択することで、ビットレート制約の下で動画品質を最大化するという逐次的意思決定問題としてレート制御を定式化する。
• エージェントは、微分可能でない環境を前提とし、世界モデルと計画ポリシーをエンドツーエンドで学習するMuZeroアルゴリズムを採用する。
• 新規な自己競合報酬メカニズムを導入する。エージェントは、同じ動画-ターゲットビットレートペアに対して自身の過去のパフォーマンスと競合することで、報酬形状のための動的で適応的なベースラインを生成する。
• 報酬は、現在のパフォーマンス（PSNR）と、同じ動画-ターゲットビットレートペアにおける履歴平均パフォーマンスの差分として計算され、時間の経過とともに改善を促進する。
• システムは、YouTube UGCデータセットから抽出した3062個の5秒間クリップを用いて学習され、各[動画, ターゲットビットレート]ペアが複数回エンコードされて、自己競合ベースラインの安定化が図られている。
• 最終的なポリシーは、libvpxのSimpleEncode APIを介してデプロイされ、既存の動画ストリーミングパイプラインへの直接統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、libvpxのようなブラックボックスな動画エンコーダ環境において、レート制御ポリシーを効果的に学習できるか？
• RQ2 報酬の難易度が動画によって変動する状況において、自己競合ベースの報酬メカニズムは、制約付き強化学習のパフォーマンスを向上させられるか？
• RQ3 MuZero-RCエージェントは、libvpxの2パスVBRレート制御よりも低いビットレートで優れた動画品質を達成できるか？
• RQ4 全体的なエンコード効率を向上させながら、よりタイトなビットレート制約の遵守を維持できるか？
• RQ5 この手法は、他のコーデック、品質指標、あるいは最小品質目標のような制約タイプへ一般化可能か？

主な発見

• MuZero-RCは、3062個の動画クリップ全体で、libvpxの2パスVBRレート制御と比較して平均6.28%のビットレート削減（PSNR BD-rateで測定）を達成した。
• エージェントは著しく優れたビットレート制約の満たし方を示した。ターゲットビットレートを5%以上超過する動画は2.04%にとどまり、libvpxの64.00%と比べて顕著に低い。
• MuZero-RCは84.14%の動画をターゲットビットレートの5%以内に保ったが、libvpxは71.34%にとどまり、制約遵守の面で優位性を示した。
• エージェントは改善された計画行動を示した。例えば、高運動の後続フレームの品質を保つために、早期にビットを節約する行動や、個々のフレームでのPSNRの急激な低下を回避する行動が観察された。
• シーンチェンジが終盤に近い場合、MuZero-RCは高品質を要する可能性を予測し、事前にビットを割り当てていた。これに対してlibvpxはしばしば予算が尽きてしまう。
• 自己競合メカニズムにより、変動的で複雑なレート-歪みダイナミクスを示す環境でも、安定した学習と効果的な探索が可能になった。