[论文解读] Face Synthesis (FASY) System for Determining the Characteristics of a Face Image

Santanu Halder, Debotosh Bhattacharjee+3 more|arXiv (Cornell University)|Jul 5, 2010

Face recognition and analysis参考文献 2被引用 4

一句话总结

本文提出了 FASY（面部合成）系统，这是一种用于人脸数据库检索与合成人脸生成的新型框架。该系统采用复杂方法提取面部组件，分析其特征，并将其存储，以便在数据库中不存在目标人脸时按需生成新的人脸，从而实现数据库的持续扩展。

ABSTRACT

This paper aims at determining the characteristics of a face image by extracting its components. The FASY (FAce SYnthesis) System is a Face Database Retrieval and new Face generation System that is under development. One of its main features is the generation of the requested face when it is not found in the existing database, which allows a continuous growing of the database also. To generate the new face image, we need to store the face components in the database. So we have designed a new technique to extract the face components by a sophisticated method. After extraction of the facial feature points we have analyzed the components to determine their characteristics. After extraction and analysis we have stored the components along with their characteristics into the face database for later use during the face construction.

研究动机与目标

• 开发一种能够动态检索和生成人脸图像的系统，即使所请求的人脸不在现有数据库中。
• 以高精度提取并分析面部组件（例如眼睛、鼻子、嘴巴）的特征，以实现准确的人脸重建。
• 设计一种存储机制，以保留面部组件的特征，供未来用于人脸合成。
• 通过自动合成新的、逼真的面部图像，实现人脸数据库的持续扩展。

提出的方法

• FASY 系统采用先进的面部特征点提取技术，以识别人脸图像上的关键解剖学地标。
• 特征提取后，系统分析每个面部组件的几何与结构特征。
• 提取出的组件及其特征被存储在结构化数据库中，以备后续检索与重建。
• 当所请求的人脸在数据库中未找到时，系统将基于其特征组合存储的组件来合成一张新的人脸。
• 该系统通过按需生成新面孔支持数据库的增量增长，确保可扩展性。
• 该方法依赖于基于组件的建模，将面部特征视为具有明确定义属性的模块化单元。

实验结果

研究问题

• RQ1 如何以足够的精度提取并表征面部组件，以支持逼真的面部合成？
• RQ2 何种方法能够在所请求的人脸未存在于数据库时，生成新的、合理的面部图像？
• RQ3 如何通过自动合成新的面部组件，实现人脸数据库的动态扩展？
• RQ4 何种存储与检索机制可确保基于组件数据对合成人脸进行一致且准确的重建？

主要发现

• FASY 系统成功采用复杂方法提取并表征面部组件，实现了面部特征的详细表达。
• 当所请求的人脸不在数据库中时，系统能够生成新的人脸图像，支持数据库的持续扩展。
• 面部组件特征的存储使得在检索过程中能够实现对新面孔的准确重建与合成。
• 该方法在通过基于组件的合成构建可扩展、可扩展的人脸数据库方面展示了可行性。