[论文解读] Lighting (In)consistency of Paint by Text

Hany Farid|arXiv (Cornell University)|Jul 27, 2022

Digital Media Forensic Detection被引用 10

一句话总结

本文利用基于球谐函数的光照模型，研究 DALL·E-2 生成图像中的光照一致性，以评估其在图像取证中的可检测性。研究发现，尽管整体光照与真实照片相比相对一致，但图像内部的局部光照存在显著不一致，尤其是在前后方向光照上，表明基于物理的光照分析可有效区分合成图像与真实图像。

ABSTRACT

Whereas generative adversarial networks are capable of synthesizing highly realistic images of faces, cats, landscapes, or almost any other single category, paint-by-text synthesis engines can -- from a single text prompt -- synthesize realistic images of seemingly endless categories with arbitrary configurations and combinations. This powerful technology poses new challenges to the photo-forensic community. Motivated by the fact that paint by text is not based on explicit geometric or physical models, and the human visual system's general insensitivity to lighting inconsistencies, we provide an initial exploration of the lighting consistency of DALL-E-2 synthesized images to determine if physics-based forensic analyses will prove fruitful in detecting this new breed of synthetic media.

研究动机与目标

• 评估基于物理的光照分析是否能够检测 DALL·E-2 生成的合成图像。
• 研究 DALL·E-2 生成图像与真实照片之间的整体光照一致性。
• 评估单个 DALL·E-2 生成图像中多个物体之间的局部光照一致性。
• 确定合成图像中的光照不一致性是否可作为取证指标。

提出的方法

• 在朗伯反射率假设下，使用基于球谐函数的光照表示方法建模图像外观。
• 从合成图像中未遮挡球体的三维表面法线估计光照环境。
• 计算球谐系数（l_{0,0}, l_{1,*}, l_{2,*}）以表示环境光、方向光及高阶光照成分。
• 通过比较同一图像内球对之间的光照系数，评估局部一致性。
• 对图像间系数进行归一化，以比较整体光照一致性与真实照片。
• 使用 R² 相关系数度量球对之间光照系数的一致性。

实验结果

研究问题

• RQ1 DALL·E-2 生成图像中的整体光照环境是否与真实照片一致？
• RQ2 在单个 DALL·E-2 生成图像中，光照系数是否在多个物体间保持一致估计？
• RQ3 特定光照分量（如前后方向）在合成图像中是否比其他分量表现出更大的不一致性？
• RQ4 DALL·E-2 输出中的光照不一致性是否可量化并用作取证检测依据？
• RQ5 在球谐系数相关性方面，合成图像中的光照变化与真实图像相比如何？

主要发现

• DALL·E-2 图像的整体光照与真实照片表现出中等一致性，图像对之间球谐系数的 R² 相关系数为 0.80。
• 在单张合成图像内部，光照一致性弱于图像之间，零阶、一阶和二阶球谐系数的 R² 值分别为 0.54、0.69 和 0.65。
• 一阶项 Y_{1,0}（前后方向光照）的相相关性显著低于其他一阶项，表明前后方向光照存在明显不一致。
• 二阶项 Y_{2,0}（与 z 轴方向光照相关）的相相关性也低于其他二阶项，表明在垂直方向光照感知上存在偏差或不一致。
• 零阶系数（环境光）的相相关性最弱（R² = 0.54），可能由于球体间表面反射率存在差异。
• 这些发现表明，尽管整体光照具有合理性，但局部光照不一致，特别是前后方向和垂直方向，可作为合成图像来源的取证指标。