[论文解读] Face Sketch Synthesis Style Similarity:A New Structure Co-occurrence Texture Measure

Deng-Ping Fan, Shengchuan Zhang+5 more|arXiv (Cornell University)|Apr 9, 2018

Face recognition and analysis参考文献 41被引用 10

一句话总结

本文提出Scoot-measure，一种用于人脸素描合成的新型风格相似性度量方法，通过联合评估块级空间结构与共现纹理统计特征，显著提升了与人类判断的一致性。其与人类感知的相关性达到78.8%，远超现有最佳度量方法（58.6%），并为FSS算法提供了稳健可靠的评估框架。

ABSTRACT

Existing face sketch synthesis (FSS) similarity measures are sensitive to slight image degradation (e.g., noise, blur). However, human perception of the similarity of two sketches will consider both structure and texture as essential factors and is not sensitive to slight ("pixel-level") mismatches. Consequently, the use of existing similarity measures can lead to better algorithms receiving a lower score than worse algorithms. This unreliable evaluation has significantly hindered the development of the FSS field. To solve this problem, we propose a novel and robust style similarity measure called Scoot-measure (Structure CO-Occurrence Texture Measure), which simultaneously evaluates "block-level" spatial structure and co-occurrence texture statistics. In addition, we further propose 4 new meta-measures and create 2 new datasets to perform a comprehensive evaluation of several widely-used FSS measures on two large databases. Experimental results demonstrate that our measure not only provides a reliable evaluation but also achieves significantly improved performance. Specifically, the study indicated a higher degree (78.8%) of correlation between our measure and human judgment than the best prior measure (58.6%). Our code will be made available.

研究动机与目标

• 解决现有人脸素描合成（FSS）相似性度量不可靠的问题，这些度量对像素级噪声和模糊过于敏感。
• 克服SSIM、FSIM、VIF和GMSD等当前度量的局限性，这些度量因聚焦于像素级退化而无法与人类感知对齐。
• 通过整合块级结构与共现纹理特征，开发一种能够捕捉整体内容与风格相似性的新评估度量。
• 通过创建两个包含776幅和1,888幅图像的人工标注数据集，建立可靠的FSS评估基准。
• 证明共现纹理统计特征在素描风格相似性方面比像素级或边缘特征更具信息量。

提出的方法

• 提出Scoot-measure（结构共现纹理度量），一种两阶段评估框架：首先将输入素描量化为离散等级，然后分析块级空间结构。
• 通过计算素描中非重叠块之间纹理模式对的频率，提取共现纹理统计特征。
• 采用加权融合策略，将块级结构一致性与共现纹理相似性整合为统一的相似性得分。
• 设计四种元度量（MM1–MM4）以评估度量性能：对重缩放/旋转的鲁棒性（MM1、MM2）、内容保持能力（MM3）以及与人类判断的相关性（MM4）。
• 使用一个包含776对人工评分素描对的新数据集以及一个更大规模的1,888幅图像数据集，验证该度量在多种FSS算法上的表现。
• 与14种其他特征集（如Canny、Sobel、Gabor、GLRLM）进行对比，证明共现纹理建模的优越性。

实验结果

研究问题

• RQ1 由于对像素级伪影过于敏感，现有FSS相似性度量在多大程度上无法与人类感知保持一致？
• RQ2 一种同时建模块级结构与共现纹理统计特征的度量，是否能更好地反映人类对素描风格相似性的判断？
• RQ3 Scoot-measure在应对重缩放和旋转等图像变换时，相较于先前度量的鲁棒性如何？
• RQ4 不同纹理与边缘特征对FSS评估度量性能有何影响？
• RQ5 引入共现纹理模式是否能显著提升自动化度量与人类判断之间的一致性？

主要发现

• 在更大规模人工标注数据集上，Scoot-measure与人类判断的相关性达到78.8%，显著优于现有最佳度量（58.6%）。
• 该度量对图像变换表现出高度鲁棒性，MM1与MM2得分表明其对重缩放与旋转具有强抗性。
• 内容保持能力显著提升，CUFSF数据集上MM3（内容一致性）的准确率达到97.5%。
• 在其他特征中，仅GLRLM与Gabor表现出中等性能，而Canny与Sobel无法保持内容或与人类感知对齐。
• 与次优方法（GMSD）相比，引入成对共现纹理统计特征使人类相关性提升20.2%。
• 采用CE（共现边缘）特征的Scoot-measure在所有元度量中表现最佳，且统计显著（p < 0.05）。