[論文レビュー] VToonify: Controllable High-Resolution Portrait Video Style Transfer

Shuai Yang, Liming Jiang+2 more|arXiv (Cornell University)|Sep 22, 2022

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

VToonify は、従来の StyleGAN に基づく手法で固定サイズ・アライメント要件を課す限界を克服する、制御可能で高解像度のポートレート動画スタイル転送のための新規で完全畳み込み型フレームワークを提案する。事前学習済み StyleGAN モデルからデータおよびアーキテクチャを蒸留し、顔パースリングマップを用いてマルチスケールのコンテンツ特徴を統合することで、アライメントされておらずサイズが可変な動画入力に対しても高精細で時間的に一貫性のあるスタイル転送を可能にし、スタイル強度、色、構造に対する柔軟な制御を実現する。

ABSTRACT

Generating high-quality artistic portrait videos is an important and desirable task in computer graphics and vision. Although a series of successful portrait image toonification models built upon the powerful StyleGAN have been proposed, these image-oriented methods have obvious limitations when applied to videos, such as the fixed frame size, the requirement of face alignment, missing non-facial details and temporal inconsistency. In this work, we investigate the challenging controllable high-resolution portrait video style transfer by introducing a novel VToonify framework. Specifically, VToonify leverages the mid- and high-resolution layers of StyleGAN to render high-quality artistic portraits based on the multi-scale content features extracted by an encoder to better preserve the frame details. The resulting fully convolutional architecture accepts non-aligned faces in videos of variable size as input, contributing to complete face regions with natural motions in the output. Our framework is compatible with existing StyleGAN-based image toonification models to extend them to video toonification, and inherits appealing features of these models for flexible style control on color and intensity. This work presents two instantiations of VToonify built upon Toonify and DualStyleGAN for collection-based and exemplar-based portrait video style transfer, respectively. Extensive experimental results demonstrate the effectiveness of our proposed VToonify framework over existing methods in generating high-quality and temporally-coherent artistic portrait videos with flexible style controls.

研究の動機と目的

• 動画に適用する際の従来の画像トゥーン化モデルの限界（固定解像度、顔のアライメント要件、時間的不一致）を解消すること。
• アライメントされておらずサイズが可変なポートレート動画に対して、高解像度（最大 1024×1024）かつ時間的に一貫性のあるスタイル転送を可能にすること。
• ユーザーがスタイル強度を調整可能とし、スタイルコレクションから参照スタイルを選択できる柔軟な、制御可能なスタイル転送を実現すること。
• 構造的および色のスタイル変更があっても、非顔領域の詳細を保持し、スタイライズド出力におけるアイデンティティの一貫性を維持すること。
• 従来の StyleGAN に基づく画像トゥーン化モデルを動画に拡張し、その制御可能性と高品質な生成性能を継承すること。

提案手法

• フレームワークは、可変入力サイズを扱う完全畳み込みネットワークと、高解像度で制御可能なスタイル生成を実現する蒸留済み StyleGAN ベースのモデルを組み合わせたハイブリッド設計を採用する。
• エンコーダーを介してマルチスケールのコンテンツ特徴が抽出され、事前学習済み StyleGAN バックボーンからのスタイルコードと統合され、詳細な画像が再構成される。
• 顔パースリングマップを補助的監視手段として用いることで、特に目や鼻といった細部におけるスタイライズド顔の構造的忠実度が向上する。
• スタイルコードインジェクション機構を適応させることで、コレクションベース（Toonify）およびエクジンプラー基地（DualStyleGAN）の両方のスタイル転送をサポートする。
• 均一なオプティカルフローに基づくフレイクチャ抑制損失を適用し、動画シーケンスにおける時間的アーティファクトを低減する。
• モデルは蒸留学習により訓練される：事前学習済み StyleGAN から生成された合成ペアデータが、軽量で動画対応のネットワークを監視するために用いられる。

実験結果

リサーチクエスチョン

• RQ1 顔のアライメントや固定入力サイズを要件としない動画スタイル転送フレームワークは、1024×1024 の高解像度および時間的に一貫性のあるスタイル転送を達成できるか？
• RQ2 マルチスケールのコンテンツ特徴と顔パースリングマップは、動画におけるスタイライズド顔の構造的忠実度および非顔領域の詳細の再現性をどのように向上させるか？
• RQ3 フレームワークは、動画環境においてスタイル強度や参照ベースのスタイル転送を含めた柔軟なスタイル制御をどの程度実現できるか？
• RQ4 事前学習済み StyleGAN モデルからデータおよびアーキテクチャを蒸留することで、動画スタイル転送における性能と一般化能力にどのような影響を与えるか？
• RQ5 フレームワークの主な失敗モードは何か？また、それらは潜在する StyleGAN バックボーンのバイアスとどのように関連しているか？

主な発見

• VToonify は、高解像度ポートレート動画スタイル転送分野で最先端の性能を達成し、アライメントされていない顔や可変サイズの入力に対しても時間的に一貫性のある結果を生成する。
• 顔パースリングマップの導入により、特に目や顔の輪郭といった細部におけるスタイライズド顔の構造的正確性が顕著に向上する。
• フレームワークは、調整可能なスタイル強度やエクジンプラー基地スタイル転送を含む柔軟なスタイル制御をサポートし、出力結果が参照スタイル画像と密接に一致する。
• 事前学習済み StyleGAN からデータおよびモデルを蒸留することで、VToonify は高品質な生成能力を継承するとともに、元のモデルが課す固定解像度およびアライメントの制約を克服する。
• 強みがある一方で、この手法は StyleGAN バックボーンの限界を引き継いでおり、極端な顔の角度、視線方向、特定のスタイル下でのぼやけた背景の処理が不十分である。
• 均一なオプティカルフローに基づく損失によりフレイクチャが低減されるが、彩度が高く複雑な動きを示す領域では一部のフレイクチャが依然として残存する。