[论文解读] Fast Preprocessing for Robust Face Sketch Synthesis

Yibing Song, Jiawei Zhang+2 more|arXiv (Cornell University)|Aug 1, 2017

Face recognition and analysis被引用 6

一句话总结

本文提出双向亮度重映射（BLR），一种快速预处理方法，通过联合调整输入图像和训练图像的光照，提升样本基人脸素描合成的鲁棒性。通过将在线分割解耦为离线 alpha 蒙版，BLR 在不同光照和对比度条件下实现了精确的 K-NN 图块匹配，显著提升了素描质量，且计算开销可忽略不计，适用于多种数据集和光照条件。

ABSTRACT

Exemplar-based face sketch synthesis methods usually meet the challenging problem that input photos are captured in different lighting conditions from training photos. The critical step causing the failure is the search of similar patch candidates for an input photo patch. Conventional illumination invariant patch distances are adopted rather than directly relying on pixel intensity difference, but they will fail when local contrast within a patch changes. In this paper, we propose a fast preprocessing method named Bidirectional Luminance Remapping (BLR), which interactively adjust the lighting of training and input photos. Our method can be directly integrated into state-of-the-art exemplar-based methods to improve their robustness with ignorable computational cost.

研究动机与目标

• 解决输入图像与训练图像之间光照条件变化时，样本基人脸素描合成失败的问题。
• 克服光照不变距离度量在图块内局部对比度变化时失效的局限性。
• 通过对齐输入图像与训练图像中人脸区域和非人脸区域的亮度统计特性，提升 K-NN 图块匹配的准确性。
• 实现与现有最先进方法的无缝集成，计算运行时开销极小。
• 在多种数据集上实现鲁棒性能，包括真实世界光照、侧光和姿态变化。

提出的方法

• BLR 仅基于人脸区域统计特性，对输入图像执行全局亮度重映射，使其与训练图像的亮度匹配。
• 利用离线训练中预计算的 alpha 蒙版，重新计算训练图像的非人脸区域亮度，使其与经重映射的输入图像亮度对齐。
• 该方法确保了输入图像与训练图像在人脸区域和背景区域的亮度统计特性保持一致。
• 通过将在线前景/背景分割转换为离线 alpha 蒙版，BLR 实现了高效且精确的图块搜索。
• 该方法即插即用，可直接集成到现有样本基合成流水线中，计算成本极低。
• 显著提升了对光照变化（包括侧光和复杂背景）的鲁棒性，且无需重新训练。

实验结果

研究问题

• RQ1 预处理方法能否提升样本基人脸素描合成在输入图像与训练图像光照条件不匹配时的鲁棒性？
• RQ2 为何传统光照不变距离度量在图块内局部对比度变化时会失效？
• RQ3 离线 alpha 蒙版能否替代在线分割，以提升图块匹配的效率与准确性？
• RQ4 BLR 在处理真实世界光照变化、侧光和姿态变化方面在人脸素描合成中的有效性如何？
• RQ5 将 BLR 集成到现有最先进合成方法中的计算开销是多少？

主要发现

• 在 CUHK、AR 和 FERET 数据集上的视觉对比显示，BLR 显著提升了在光照不匹配的挑战性输入图像上的素描合成质量。
• 在包含真实世界光照变化的 FERET 数据集上，BLR 相较于基线方法显著减少了合成素描中的伪影和模糊。
• 在侧光实验中，BLR 有效减少了阴影面部区域的模糊和伪影，而现有方法在此类区域表现失败。
• 在姿态变化场景中，即使使用扩展的搜索范围，BLR 仍能提升性能，优于仅依赖更大搜索空间的方法。
• 运行时评估显示，BLR 仅在现有方法基础上增加 0.2–2.7 秒（例如，MRF 从 38.4 秒增至 38.6 秒），证明其计算开销可忽略不计。
• 跨数据集实验验证了 BLR 在不同种族和光照条件下的鲁棒性，始终维持高质量的合成效果。