[論文レビュー] Compressing Video Calls using Synthetic Talking Heads

Madhav Agarwal, Anchit Gupta+3 more|arXiv (Cornell University)|Oct 7, 2022

Speech and Audio Processing被引用数 4

ひとこと要約

本論文は、合成されたトーキングヘッドを用いたエンドツーエンドの動画圧縮システムを提案し、帯域幅を著しく削減するために、キーポイントとピボットフレームのみを送信することで、会話型ヘッドセットの動画通話に適応する。顔の再現、高密度オプティカルフロー、フレーム補間、およびスーパーレゾolutionを活用することで、視覚的品質を維持したまま記録的な低ビットレート0.0012 BPPを達成した。適応的ピボットフレーム選択により、長時間の通話においても安定した性能を発揮する。

ABSTRACT

We leverage the modern advancements in talking head generation to propose an end-to-end system for talking head video compression. Our algorithm transmits pivot frames intermittently while the rest of the talking head video is generated by animating them. We use a state-of-the-art face reenactment network to detect key points in the non-pivot frames and transmit them to the receiver. A dense flow is then calculated to warp a pivot frame to reconstruct the non-pivot ones. Transmitting key points instead of full frames leads to significant compression. We propose a novel algorithm to adaptively select the best-suited pivot frames at regular intervals to provide a smooth experience. We also propose a frame-interpolater at the receiver's end to improve the compression levels further. Finally, a face enhancement network improves reconstruction quality, significantly improving several aspects like the sharpness of the generations. We evaluate our method both qualitatively and quantitatively on benchmark datasets and compare it with multiple compression techniques. We release a demo video and additional information at https://cvit.iiit.ac.in/research/projects/cvit-projects/talking-video-compression.

研究の動機と目的

• 低接続地域における動画通話の増大する帯域要求に応えるために、トーキングヘッド動画に特化した圧縮技術を開発すること。
• 顔の特徴点、頭部の姿勢、表情といった高レベルの意味的コンテンツを活用し、一般向けコーデックを超える極端な動画圧縮を実現すること。
• リアルタイムの動画通話において、ビット/ピクセル（BPP）を著しく削減しながら、知覚的品質を維持すること。
• 頭部の姿勢や背景の変化に基づく適応的ピボットフレーム選択により、長時間の動画通話においても視覚的品質が安定するようにすること。
• 受信側でフレーム補間およびスーパーレゾリューションネットワークを活用して再構成品質を向上させること。

提案手法

• 通話開始時に高解像度のピボットフレームを送信し、その後の非ピボットフレームは1フレームあたり8バイトのキーポイントのみを送信して顔の幾何学的形状と動きを表現する。
• 最先端の顔の再現ネットワークを用いてキーポイントを検出・送信し、それらを基に高密度オプティカルフローを計算してピボットフレームを変形・再構成することで中間フレームを生成する。
• 受信側に新規のフレーム補間ネットワークを適用し、キーポイント送信フレーム間の欠落フレームを生成することで、ピボットフレームの頻繁な更新を低減する。
• パッチごとのスーパーレゾリューションネットワークを採用して再構成フレームを任意の高解像度にアップスケーリングし、シャープネスと視覚的忠実度を向上させる。
• 頭部の姿勢変化が15°を超える、または背景変化が閾値（d_bg > 0.05）を超えると新しいピボットフレームを生成する適応的ピボットフレーム選択アルゴリズムを導入し、長期的な再構成品質を向上させる。
• キーポイント表現を1点あたり24バイトから8バイトに最適化し、送信オーバーヘッドを顕著に削減する。

実験結果

リサーチクエスチョン

• RQ1 合成生成に基づくトーキングヘッド動画圧縮システムは、H.264 や H.265 といった従来のコーデックよりも顕著に低いBPPを達成できるか？
• RQ2 8バイトのコンactキーポイントと高密度フローワーピングを組み合わせた手法が、高品質なトーキングヘッド動画の再構成にどの程度有効か？
• RQ3 受信側でのフレーム補間は帯域幅を増加させずに圧縮効率をどの程度向上させるか？
• RQ4 適応的ピボットフレーム選択は、動的な頭部の姿勢や背景変化を伴う長時間の動画通話において、品質劣化をどの程度緩和できるか？
• RQ5 スーパーレゾリューション再構成は、低ビットレート送信の影響を十分に相殺できるほど視覚的品質を向上させられるか？

主な発見

• 提案手法はBPP 0.0012を達成し、H.264（0.0057）およびH.265（0.0039）よりも顕著に低い一方で、PSNR（26.73）およびSSIM（0.81）の面で競争力のある性能を維持した。
• フレーム補間を追加することでBPPは0.0006に低下し、PSNRは27.73以上を維持した。これは、最小限の品質損失で効果的な圧縮を実現したことを示している。
• スーパーレゾリューションネットワークにより、16×16パッチではPSNRが25.34から64×64パッチでは27.47に向上した。パッチサイズの選択が再構成品質に影響することが示された。
• 閾値γ > 15°およびd_bg > 0.05を用いた適応的ピボットフレーム選択により、ピボットフレームの更新周期が約10秒ごととなり、過度な帯域コストを伴わずに長時間通話における視覚的品質が向上した。
• キーポイント送信サイズを1点あたり24バイトから8バイトに削減することで、メタデータのオーバーヘッドを66%削減できた。
• 定性的な結果では、特に長時間および動的な動画シーケンスにおいて、ベースライン手法に比べてよりシャープで自然な外観のトーキングヘッドが得られた。