[論文レビュー] CelebV-HQ: A Large-Scale Video Facial Attributes Dataset

Hao Zhu, Wayne Wu+6 more|arXiv (Cornell University)|Jul 25, 2022

Face recognition and analysis被引用数 8

ひとこと要約

本稿では、外見、行動、感情の3つの側面から83の顔面属性を手動でアノテートした、35,666本のクリップ、15,653人の個体から成る大規模かつ高品質な動画顔面属性データセットであるCelebV-HQを紹介する。このデータセットは、動画生成および顔面属性編集タスクにおいて顕著な性能向上を実現し、顔関連動画アプリケーションにおける時間的モデリングおよび時空間的学習の価値を示している。

ABSTRACT

Large-scale datasets have played indispensable roles in the recent success of face generation/editing and significantly facilitated the advances of emerging research fields. However, the academic community still lacks a video dataset with diverse facial attribute annotations, which is crucial for the research on face-related videos. In this work, we propose a large-scale, high-quality, and diverse video dataset with rich facial attribute annotations, named the High-Quality Celebrity Video Dataset (CelebV-HQ). CelebV-HQ contains 35,666 video clips with the resolution of 512x512 at least, involving 15,653 identities. All clips are labeled manually with 83 facial attributes, covering appearance, action, and emotion. We conduct a comprehensive analysis in terms of age, ethnicity, brightness stability, motion smoothness, head pose diversity, and data quality to demonstrate the diversity and temporal coherence of CelebV-HQ. Besides, its versatility and potential are validated on two representative tasks, i.e., unconditional video generation and video facial attribute editing. Furthermore, we envision the future potential of CelebV-HQ, as well as the new opportunities and challenges it would bring to related research directions. Data, code, and models are publicly available. Project page: https://celebv-hq.github.io.

研究の動機と目的

• 顔関連動画タスク向けに、豊富な顔面属性アノテーションを備えた大規模かつ高品質な動画データセットの不足に対処すること。
• スケール、品質、包括的な属性アノテーションに関する課題を克服し、動画データセット構築の難しさに対処すること。
• 先進的な研究を支援するため、多様性に富み、時間的に整合性のある動画データセットを提供すること。
• 非条件的生成や顔面属性編集を含む動画固有のタスクにおけるベンチマークと前進を可能にすること。
• 自然な顔の動きと多様な3D幾何構造を提供することで、神経レンダリングおよび動的3D顔モデル化分野における今後の研究を促進すること。

提案手法

• 多言語のウィキペディアベースのクエリを用いて、8,376のエンティティと3,717の行動をカバーする大規模な原始データプールを構築し、多様性とスケールを確保した。
• 顔検出およびアライメントツールを用いた自動前処理パイプラインを実装し、最小512×512解像度、忠実度、時間的整合性を確保した。
• 訓練済みのアノテータ、自動判断、品質チェックを組み合わせた体系的なアノテーションパイプラインを設計し、83の顔面属性のラベル付けにおける正確性と効率性を確保した。
• 外見属性40個、行動属性35個、感情属性8個に属性を分類し、時間に依存しないおよび時間に依存する両方の次元で顔の特徴を包括的に記述した。
• データフィルタリングと品質管理を適用し、現実世界のデータ分布を保持しつつ、視覚的品質と多様性を維持した。
• 時間的モデリング技術を用いた非条件的動画生成および動画顔面属性編集のベースラインベンチマークを通じて、データセットの有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 豊富な顔面属性アノテーションを備えた大規模かつ高品質な動画データセットは、動画生成および編集タスクの性能向上に寄与するか？
• RQ2 CelebV-HQにおける顔面属性の時間的整合性と多様性は、既存の画像および動画データセットと比較してどの程度優れているか？
• RQ3 動画生成における時間的モデリングは、CelebV-HQのような属性豊富なアノテーションからどの程度恩恵を受けるか？
• RQ4 細粒度の属性アノテーションを備えた大規模動画データセットを構築するにあたり、主な課題は何か。それらは体系的にどのように解決できるか？
• RQ5 CelebV-HQは、神経レンダリングおよび動的3D顔モデル化分野における新たな研究方向性をどのように可能にするか？

主な発見

• CelebV-HQには、15,653人の個体から成る35,666本の高解像度動画クリップ（最小512×512）が含まれており、83の顔面属性が包括的に手動でアノテートされている。
• 統計的分析により、年齢、人種、明るさ、動きの滑らかさ、頭部ポーズ、データ品質の多様性が強く確認され、時間的整合性と分布の豊かさにおいて、既存の画像および動画データセットを上回っている。
• ベースライン実験では、動画生成に時間的モデリングを組み込むことで性能が向上し、このデータセットが時空間的ダイナミクスを学習する上で有効であることが示された。
• 動画顔面属性編集タスクにおいて、CelebV-HQを用いることで顕著な改善が得られ、分離可能で制御可能な動画編集に有効であることが実証された。
• 時間情報を利用した際、画像ベースのベースラインを上回る最先端の性能を達成しており、非条件的動画生成や属性編集のタスクで優れた成果を示している。
• 自然な顔の動きと多様な3D幾何構造を提供することで、動的NeRF、アニメーション可能なNeRF、マルチモーダル顔分析分野における今後の研究を支援できる。