[論文レビュー] Interactive Face Video Coding: A Generative Compression Framework

Bolin Chen, Zhao Wang+4 more|arXiv (Cornell University)|Feb 20, 2023

Face recognition and analysis被引用数 10

ひとこと要約

この論文は、Interactive Face Video Coding (IFVC) を導入し、顔を超コンパクトで意味的に有意な 3D 顔表現（IDI）にエンコードし、GAN ベースのデコーダーを用いて超低ビットレートで対話型、プライバシー保護された顔動画をレンダリングします。VVC および既存の生成的方法と比較して、レート歪み性能において優れた性能を発揮し、直接の意味レベルの対話性を可能にします。

ABSTRACT

In this paper, we propose a novel framework for Interactive Face Video Coding (IFVC), which allows humans to interact with the intrinsic visual representations instead of the signals. The proposed solution enjoys several distinct advantages, including ultra-compact representation, low delay interaction, and vivid expression/headpose animation. In particular, we propose the Internal Dimension Increase (IDI) based representation, greatly enhancing the fidelity and flexibility in rendering the appearance while maintaining reasonable representation cost. By leveraging strong statistical regularities, the visual signals can be effectively projected into controllable semantics in the three dimensional space (e.g., mouth motion, eye blinking, head rotation, head translation and head location), which are compressed and transmitted. The editable bitstream, which naturally supports the interactivity at the semantic level, can synthesize the face frames via the strong inference ability of the deep generative model. Experimental results have demonstrated the performance superiority and application prospects of our proposed IFVC scheme. In particular, the proposed scheme not only outperforms the state-of-the-art video coding standard Versatile Video Coding (VVC) and the latest generative compression schemes in terms of rate-distortion performance for face videos, but also enables the interactive coding without introducing additional manipulation processes. Furthermore, the proposed framework is expected to shed lights on the future design of the digital human communication in the metaverse.

研究の動機と目的

• 対話型顔動画コーディングを超低遅延と意味論的に制御可能な再構成の動機付けとする。
• 顔意味論の超コンパクトで編集可能な表現空間を開発する。
• 追加の操作手段なしに意味レベルでの対話性を可能にする。
• 深層生成モデルを活用してコンパクトな表現から高品質なフレームを合成する。

提案手法

• 2D 顔フレームを 14 次元の顔意味空間（口、目、頭部姿勢、平移など）に射影する。
• キーフレームを標準画像コーデック（VVC intra coding）で符号化する。
• 意味残差と文脈ベースのエントロピー符号化（PPM）を用いて高密度ビットストリームを形成する。
• 意味から 3D 顔メッシュを再構成する WM3DR ベースのモデルと、SPADE 誘導 CSSFT-GAN でフレームをレンダリングしてデコードする。
• 密なモーション場と顔のアテンションマップを生成するためにメッシュベースのモーション推定を使用する。
• デコーダ側で意味パラメータを編集することにより対話的操作を可能にする。

実験結果

リサーチクエスチョン

• RQ1 IFVC は対話制御可能な意味論を持つ超低ビットレートの顔動画コーディングを達成できるか。
• RQ2 IDI ベースの 3D 意味表現は現実的な再構成と操作のために十分な忠実度と柔軟性を提供するか。
• RQ3 IFVC はレート歪み性能において VVC および既存の生成圧縮方式と比較して顔動画でどのように差をつけるか。
• RQ4 デコーダーのみの意味ビットストリーム操作はプライバシーを保ちつつ品質を維持できるか。
• RQ5 GAN ベースのデコーダーが意味表現から高品質フレームをレンダ링する効果はどれほどか。

主な発見

• IFVC は 14 次元のコンパクトな意味パラメータ空間を活用することで ultra-low bitrate における高品質な顔動画再構成を実現する。
• 本フレームワークは顔動画のレート歪み性能において VVC および近年の生成型圧縮法を上回る。
• IDI 表現は口の動き、まばたき、頭部回転、頭部平移の制御可能な操作を実現する。
• 編集可能なビットストリームは追加の操作手順を要せずに対話的な顔意味論の編集をサポートする。
• デコーダは密なモーション場とアテンションマップを用いた GAN ベースの合成を採用し、鮮やかな再構成を実現する。
• このアプローチはテクスチャテンプレートや仮想参照からのレンダリングを可能にすることでプライバシー保護の利用をサポートする。