[論文レビュー] GRACE: Loss-Resilient Real-Time Video through Neural Codecs

Yihua Cheng, Ziyi Zhang+10 more|arXiv (Cornell University)|May 21, 2023

Image and Video Quality Assessment被引用数 6

ひとこと要約

Graceは、シミュレートされたパケット損失の下でエンコーダーとデコーダーを共同で訓練するニューラル動画コーデックを提案し、リアルタイム動画通信における優れた損失耐性を実現する。多様な損失状態で訓練し、微分可能損失シミュレーションのための可逆的ランダムマッピングとランダムゼロインを用いることで、Graceは高いパケット損失率下でも高い動画品質を維持し、FECと比較して未復号化フレームを95%削減、停止時間も90%短縮する。また、ユーザースタディーではMOSが38%向上した。

ABSTRACT

In real-time video communication, retransmitting lost packets over high-latency networks is not viable due to strict latency requirements. To counter packet losses without retransmission, two primary strategies are employed -- encoder-based forward error correction (FEC) and decoder-based error concealment. The former encodes data with redundancy before transmission, yet determining the optimal redundancy level in advance proves challenging. The latter reconstructs video from partially received frames, but dividing a frame into independently coded partitions inherently compromises compression efficiency, and the lost information cannot be effectively recovered by the decoder without adapting the encoder. We present a loss-resilient real-time video system called GRACE, which preserves the user's quality of experience (QoE) across a wide range of packet losses through a new neural video codec. Central to GRACE's enhanced loss resilience is its joint training of the neural encoder and decoder under a spectrum of simulated packet losses. In lossless scenarios, GRACE achieves video quality on par with conventional codecs (e.g., H.265). As the loss rate escalates, GRACE exhibits a more graceful, less pronounced decline in quality, consistently outperforming other loss-resilient schemes. Through extensive evaluation on various videos and real network traces, we demonstrate that GRACE reduces undecodable frames by 95% and stall duration by 90% compared with FEC, while markedly boosting video quality over error concealment methods. In a user study with 240 crowdsourced participants and 960 subjective ratings, GRACE registers a 38% higher mean opinion score (MOS) than other baselines.

研究の動機と目的

• リトランスミッションが非現実的である低遅延ネットワークにおける高パケット損失下でも、高品質なリアルタイム動画を維持する課題に対処すること。
• 固定の冗長性しきい値を超えると急激に品質が低下する従来のFECの限界と、圧縮効率を低下させ、エンコーダーに最適化されていないエラー隠蔽技術の限界を克服すること。
• 損失状態の事前知識がなくても、広範な損失率範囲で一貫した動画品質を維持できるシステムを設計すること。
• 損失発生時の再構築を容易にするように、パケット間で情報を効果的に分散する形でエンコーダーとデコーダーを共同最適化すること。
• 現代のGPU上でリアルタイム性能を達成するとともに、既存の動画配信パイプラインとの互換性を維持すること。

提案手法

• ニューラルネットワークを動画エンコードとデコードに統合するニューラル動画コーデック（NVC）を採用し、エンドツーエンドの微分可能訓練を可能にする。
• 実際のパケット損失ではなく、エンコーダー出力テンソルのランダムゼロインを用いてパケット損失をシミュレートすることで、損失プロセスを逆誤差伝搬可能にする。
• NVCとの互換性を維持し、パーティショニングオーバーヘッドを低減するために、フレームパーティショニング時に可逆的ランダムマッピングを適用する。
• 0%から50%までの多様なシミュレート損失率の下でエンコーダーとデコーダーを共同訓練することで、多様なネットワーク環境に一般化可能なモデルを学習する。
• リトランスミッションやキーフレーム更新なしにエンコーダーとデコーダーの状態を再同期可能にする、新しいリシンクロニゼーションプロトコルを導入する。
• モデル distillation（Grace-Lite）とハードウェアに最適化されたコンパイル（OpenVINO）を用いてリアルタイム性能を最適化し、モバイルおよびCPUプラットフォームへのデプロイを可能にする。

実験結果

リサーチクエスチョン

• RQ1 多様なシミュレートされたパケット損失下でエンコーダーとデコーダーを共同訓練することで、従来のFECやエラー隠蔽と比較して、高損失率下でも動画品質が著しく向上するか？
• RQ2 ランダムゼロインによる微分可能損失シミュレーションを用いたエンドツーエンド訓練は、非微分可能またはヒューリスティックな損失モデリングと比較して、再構築品質と損失耐性にどのような影響を及ぼすか？
• RQ3 NVC出力における可逆的ランダムマッピングと分布正則化は、パーティショニングオーバーヘッドをどれほど低減し、圧縮効率を向上させるか？
• RQ4 損失耐性を持つニューラルコーデックは、消費者向けハードウェア（例：iPhone 14 Pro）でもリアルタイム性能を維持できるか？ また、主観的および客観的指標において、既存のベースラインを上回る性能を発揮できるか？
• RQ5 エンコーダーとデコーダーを共同で訓練する方法は、損失状態下でエンコーダーのみ、またはデコーダーのみを訓練する方法と比較して、再構築忠実度と耐性にどの程度差が生じるか？

主な発見

• Graceは、実際のネットワークトレースと多様な動画コンテンツを対象に、FECと比較して未復号化フレームを95%削減、停止時間も90%短縮した。
• 240名の参加者と960件の評価が得られたクラウドソーシングユーザースタディーにおいて、Graceは競合ベースラインと比較して平均意見得点（MOS）を38%高く評価し、ユーザーが認識する品質の優位性を示した。
• 損失なしの状態ではH.265と同等の動画品質を維持し、損失率が上昇するに従い滑らかで段階的な劣化を示す。FECおよびエラー隠蔽手法を上回る性能を発揮した。
• NVIDIA A40 GPU上では、Graceは720p動画を33 fps（1フレームあたり29.7 ms）でエンコードし、51.2 fps（1フレームあたり19.5 ms）でデコードする。リシンクロニゼーションによる遅延追加はわずか6 msにとどまる。
• Grace-Liteは、iPhone 14 Pro上でエンコード遅延38.1 ms、デコード遅延14.4 msを達成し、元の遅延を85%以上短縮しながらも、強力な損失耐性を維持した。
• アブレーションスタディーでは、エンコーダーとデコーダーの両方を共同で訓練することが不可欠であることが確認された。Grace-P（損失下でのエンコーダーのみの訓練）とGrace-D（デコーダーのみのファインチューニング）は、完全なGraceと比較して著しく劣る耐性を示した。