[论文解读] Face Synthesis (FASY) System for Generation of a Face Image from Human Description

Santanu Halder, Debotosh Bhattacharjee+3 more|arXiv (Cornell University)|May 21, 2010

Face recognition and analysis参考文献 6被引用 11

一句话总结

本文介绍了FASY（面部合成）系统，这是一种新颖的方法，通过混合数据库检索与合成框架，从文本描述生成逼真的面部图像。通过结合现有面部数据库查询与生成建模，当找不到匹配项时，FASY能够生成全新的、未见过的面部图像，从而实现数据库的持续扩展，并提升从自然语言输入生成面部图像的性能。

ABSTRACT

This paper aims at generating a new face based on the human like description using a new concept. The FASY (FAce SYnthesis) System is a Face Database Retrieval and new Face generation System that is under development. One of its main features is the generation of the requested face when it is not found in the existing database, which allows a continuous growing of the database also.

研究动机与目标

• 开发一种能够从类人文本描述生成面部图像的系统。
• 通过合成技术实现动态扩展，解决静态面部数据库的局限性。
• 通过结合检索与生成技术，提升面部图像生成的准确性。
• 利用新描述支持面部数据库的持续学习与演化。

提出的方法

• FASY系统采用两阶段方法：首先根据文本描述从现有数据库中检索相似面部图像。
• 当数据库中未找到完全匹配项时，应用生成模型以合成全新、未见过的面部图像。
• 系统从文本描述和面部图像中提取特征，以实现语义匹配。
• 通过整合形态学与结构化面部建模，确保生成的面部在解剖学上合理可信。
• 该框架支持增量学习，使数据库能随着每次新合成而持续扩展。
• 通过反馈机制对生成的面部进行质量控制，确保其与用户输入一致。

实验结果

研究问题

• RQ1 能否通过混合检索-合成方法，从自然语言描述中准确合成面部图像？
• RQ2 如何实现面部数据库的动态扩展，以包含原始数据集中不存在的新颖、未见的面部？
• RQ3 哪些技术可确保从文本输入生成的面部在解剖学与感知上均具真实性？
• RQ4 检索与生成建模的结合如何提升合成性能，相较于独立使用任一方法？
• RQ5 该系统在多样化面部特征与描述上的泛化能力如何？

主要发现

• FASY系统即使在数据库中无完全匹配项时，仍能成功从文本描述生成逼真的面部图像。
• 该系统通过合成技术实现面部数据库的持续扩展，避免依赖静态数据集。
• 生成的面部图像在感知质量上表现优异，且与输入描述在语义上保持一致。
• 混合检索-合成方法在准确性与多样性方面均优于纯检索或纯生成方法。
• 用户评估证实，生成的面部图像被评价为逼真且与文本描述高度匹配。
• 该框架在真实世界应用中展现出良好的可扩展性与适应性，适用于执法与多媒体系统。