[論文レビュー] HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion

Xian Liu, Jian Ren+7 more|arXiv (Cornell University)|Oct 12, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

HyperHumanは、RGB、深度、法線マップを統合的にノイズ除去することで、ハイパーリアリスティックで制御可能な人間の画像を生成する統合的潜在拡散フレームワークを提案する。大規模なデータセット（HumanVerse）と、共有タイムステップおよび空間的に整合されたブランチを備えた構造に配慮した拡散モデルを活用することで、テキストから画像への人間生成において、最先端のリアリズム、多様性、構造的一致性を達成した。

ABSTRACT

Despite significant advances in large-scale text-to-image models, achieving hyper-realistic human image generation remains a desirable yet unsolved task. Existing models like Stable Diffusion and DALL-E 2 tend to generate human images with incoherent parts or unnatural poses. To tackle these challenges, our key insight is that human image is inherently structural over multiple granularities, from the coarse-level body skeleton to fine-grained spatial geometry. Therefore, capturing such correlations between the explicit appearance and latent structure in one model is essential to generate coherent and natural human images. To this end, we propose a unified framework, HyperHuman, that generates in-the-wild human images of high realism and diverse layouts. Specifically, 1) we first build a large-scale human-centric dataset, named HumanVerse, which consists of 340M images with comprehensive annotations like human pose, depth, and surface normal. 2) Next, we propose a Latent Structural Diffusion Model that simultaneously denoises the depth and surface normal along with the synthesized RGB image. Our model enforces the joint learning of image appearance, spatial relationship, and geometry in a unified network, where each branch in the model complements to each other with both structural awareness and textural richness. 3) Finally, to further boost the visual quality, we propose a Structure-Guided Refiner to compose the predicted conditions for more detailed generation of higher resolution. Extensive experiments demonstrate that our framework yields the state-of-the-art performance, generating hyper-realistic human images under diverse scenarios. Project Page: https://snap-research.github.io/HyperHuman/

研究の動機と目的

• 現在のテキストから画像へのモデル（Stable Diffusion や DALL·E 2）が達成できない、整合的な解剖学的構造と自然なポーズを有するハイパーリアリスティックな人間の画像生成という課題に対処すること。
• ポーズ、深度、法線マップを個別に扱う従来の制御可能生成手法に起因する構造的一致性の欠如を克服すること。
• 多様なテキストおよびスケルトン条件下で、多様で高精細な屋外環境下の人間の画像合成を可能とし、リアリズムとレイアウトの多様性を向上させること。
• 潜在拡散を用いて、画像の外観、空間的関係性、幾何的構造を統合的にモデル化するフレームワークの構築。
• 予測された構造的条件を組み合わせることで、高解像度の生成を強化する構造ガイドドリファイナによる視覚的品質の向上。

提案手法

• 人間中心の大型データセットであるHumanVerseを構築し、3億4000万枚の屋外画像を含む。各画像には、人間のポーズ、深度、表面法線、画像キャプションの包括的アノテーションが付与されている。
• RGB、深度、表面法線マップを統合的にノイズ除去する潜在構造拡散モデルを設計。同一ネットワーク内で、複製されたU-Netブロックを構造的エキスパートブランチとして使用する。
• 全ブランチに同じノイズタイムステップを採用し、チャネル単位の連結を用いてクロスマダリティ特徴統合を実現することで、モダリティ間の空間的整合性を確保する。
• 単調な構造的マップ（深度および法線）における低周波数情報の漏洩を低減するため、ゼロ端末SNRを有する改善されたノイズスケジュールを適用する。
• 予測された構造的条件を合成することで、高解像度（1024×1024）の画像を生成する構造ガイドドリファイナを導入する。
• RGB用の標準的拡散目的関数に加え、深度および法線マップ用のL2誤差を組み合わせたマルチタスク損失を用いて、エンドツーエンドでモデルを訓練する。

Figure 1: Example Results and Visual Comparison. Top: The proposed HyperHuman simultaneously generates the coarse RGB, depth, normal, and high-resolution images conditioned on text and skeleton. Both photo-realistic images and stylistic renderings can be created. Bottom: We compare with recent T2I m

実験結果

リサーチクエスチョン

• RQ1 統合的拡散フレームワーク内でRGB、深度、表面法線マップを共同でノイズ除去することで、生成画像の人間のリアリズムと構造的一致性が顕著に向上するか？
• RQ2 骨格的ポーズから微細な幾何的詳細までをカバーする多スケール人間構造のモデリングが、テキストから画像への生成品質および多様性に与える影響はいかほどか？
• RQ3 共有ノイズスケジュールと空間的に整合されたブランチを用いることで、外観と構造の間の特徴統合および一貫性がどの程度向上するか？
• RQ4 予測された構造的条件を合成することで、構造ガイドドリファイナが高解像度画像生成を効果的に向上できるか？
• RQ5 本手法は、既存のT2Iモデルおよび制御可能生成ベースラインと比較して、リアリズム、多様性、ユーザーの好みの観点でどの程度優れているか？

主な発見

• HyperHumanは、COCO-Val HumanにおいてFID 17.18、CLIP-FID 7.82を達成し、SD 2.1、SDXL、ControlNetを含むすべてのベースラインを上回った。
• アブレーションスタディの結果、2つのDownBlockおよびUpBlockのレプリカを用いて、RGB、深度、法線マップを同時にノイズ除去した場合が最良のパフォーマンス（FID: 17.18、CLIP-FID: 7.82）を示した。
• 各モダリティに異なるタイムステップを使用した場合、性能が著しく低下した（FID: 29.36）。これは、特徴統合のための同期的ノイズ除去の重要性を裏付けた。
• 他のアブレーションバリアントと比較して、深度および法線の予測誤差（L2: 502.1および121.6）が低減されており、空間的整合性の向上を示している。
• ユーザーの好みに関する研究では、89.24％のユーザーがSD 2.1、98.06％がT2I-Adapter、99.08％がHumanSDよりもHyperHumanを好んだ。これにより、優れたリアリズムと制御可能性が確認された。
• フレームワークは、1024×1024解像度でフォトリアリスティックおよびスタイライズドな画像を効果的に生成でき、多様な条件下でのスケーラビリティとロバストネスを示した。

Figure 2: Overview of HyperHuman Framework. In Latent Structural Diffusion Model ( purple ), the image $\mathbf{x}$ , depth $\mathbf{d}$ , and surface-normal $\mathbf{n}$ are jointly denoised conditioning on caption $\mathbf{c}$ and pose skeleton $\mathbf{p}$ . For the notation simplicity, we denote