[论文解读] Generalizable One-shot Neural Head Avatar

Xueting Li, Shalini De Mello+4 more|arXiv (Cornell University)|Jun 14, 2023

Face recognition and analysis被引用 7

一句话总结

本文提出一种单次输入的神经头像Avatar方法，无需推理时优化即可从单张肖像图重建并驱动3D头像。该方法采用三个解耦的三平面分支分别建模粗略几何、细节外观和表情，实现了在未见身份和姿态下的高保真度与强泛化能力，达到当前最先进性能。

ABSTRACT

We present a method that reconstructs and animates a 3D head avatar from a single-view portrait image. Existing methods either involve time-consuming optimization for a specific person with multiple images, or they struggle to synthesize intricate appearance details beyond the facial region. To address these limitations, we propose a framework that not only generalizes to unseen identities based on a single-view image without requiring person-specific optimization, but also captures characteristic details within and beyond the face area (e.g. hairstyle, accessories, etc.). At the core of our method are three branches that produce three tri-planes representing the coarse 3D geometry, detailed appearance of a source image, as well as the expression of a target image. By applying volumetric rendering to the combination of the three tri-planes followed by a super-resolution module, our method yields a high fidelity image of the desired identity, expression and pose. Once trained, our model enables efficient 3D head avatar reconstruction and animation via a single forward pass through a network. Experiments show that the proposed approach generalizes well to unseen validation datasets, surpassing SOTA baseline methods by a large margin on head avatar reconstruction and animation.

研究动机与目标

• 解决从单张肖像图生成高保真、可泛化的3D头像Avatar的挑战，且无需进行身份特定的优化。
• 克服现有方法在保留面部以外的精细外观细节（如发型、眼镜）方面能力不足，或在未见身份上表现不佳的问题。
• 实现高效的单前向传播推理，用于3D头像Avatar的重建与动画，避免推理阶段耗时的优化过程。
• 将粗略几何、细节外观与面部表情分别解耦建模，以提升重建保真度与泛化能力。

提出的方法

• 使用一个规范分支，通过中性表情与正前方姿态的三平面表示重建粗略3D几何。
• 引入一个外观分支，利用规范分支提供的深度信息，将源图像的像素值映射到3D规范空间，以保留精细细节。
• 开发一个表情分支，输入为具有目标表情与源身份的正前方3DMM渲染图，生成用于修改三平面的表情特征。
• 通过求和合并三个三平面表示，再应用体素渲染并接一个超分辨率模块，生成高保真输出图像。
• 利用3DMM先验实现形状与表情的解耦，采用线性基分解方式建模几何与表情参数。
• 在多样化的肖像图像上进行训练，以实现推理阶段对未见身份与姿态的零样本泛化能力。

Figure 1: Overview. The proposed method contains four main modules: a canonical branch that reconstructs the coarse geometry and texture of a portrait with a neutral expression (Sec. 3.1 ), an appearance branch that captures fine-grained person-specific details (Sec. 3.2 ), an expression branch that

实验结果

研究问题

• RQ1 当在单张肖像图上进行训练时，神经头像Avatar模型是否能在无需推理时优化的情况下泛化到未见身份？
• RQ2 基于单张图像的方法在多大程度上能保留面部区域以外的精细外观细节（如发型与配饰）？
• RQ3 当输入图像可视区域有限时，模型在重建合理几何（如被遮挡区域、牙齿、瞳孔）方面表现如何？
• RQ4 将几何、外观与表情分别解耦为独立的三平面分支，是否相比端到端方法显著提升重建保真度与泛化能力？

主要发现

• 所提方法在头像Avatar重建与动画任务上超越了当前最先进基线模型，在未见验证数据集上表现更优。
• 模型在无需任何推理时优化的情况下，能有效泛化到未见身份与姿态，实现高效的单前向传播生成。
• 在CelebA数据集上的实验表明，其性能优于ROME与HeadNeRF，尽管未采用推理时适应，但在FID与LPIPS指标上仍取得定量提升。
• 该方法能成功保留不同测试身份中的身份特异性细节，如发型、眼镜与耳环。
• 局限性在于由于表情分支的幻觉生成，牙齿与瞳孔的重建存在不一致性，即无论输入图像是否可见，模型始终生成这些特征。
• 消融实验验证了将几何、外观与表情进行三平面解耦建模，相比联合建模方法，能显著提升保真度与泛化能力。

Figure 2: Visualization of the contribution of each branch. (a) Source image. (b) Target image. (c) Rendering of the canonical tri-plane. (d) Rendering of the combination of the canonical and expression tri-planes. (e) Rendering of the combination of all three tri-planes.