[论文解读] Adversarial Image Composition with Auxiliary Illumination

Fangneng Zhan, Shijian Lu+3 more|arXiv (Cornell University)|Sep 17, 2020

Generative Adversarial Networks and Image Synthesis参考文献 58被引用 8

一句话总结

该论文提出AIC-Net，一种生成对抗网络，通过分支生成器、辅助光照建模以及可微分空间变换器实现前景风格迁移与真实阴影生成的联合学习，从而提升图像构图的真实感。该方法在行人与汽车构图任务中，定性与定量评估均达到最先进性能。

ABSTRACT

Dealing with the inconsistency between a foreground object and a background image is a challenging task in high-fidelity image composition. State-of-the-art methods strive to harmonize the composed image by adapting the style of foreground objects to be compatible with the background image, whereas the potential shadow of foreground objects within the composed image which is critical to the composition realism is largely neglected. In this paper, we propose an Adversarial Image Composition Net (AIC-Net) that achieves realistic image composition by considering potential shadows that the foreground object projects in the composed image. A novel branched generation mechanism is proposed, which disentangles the generation of shadows and the transfer of foreground styles for optimal accomplishment of the two tasks simultaneously. A differentiable spatial transformation module is designed which bridges the local harmonization and the global harmonization to achieve their joint optimization effectively. Extensive experiments on pedestrian and car composition tasks show that the proposed AIC-Net achieves superior composition performance qualitatively and quantitatively.

研究动机与目标

• 为解决现有图像构图方法中缺乏真实阴影效果的问题，尽管风格融合技术有所进步，但视觉保真度仍受影响。
• 在统一框架中解耦阴影生成与风格迁移，实现两者的同步优化。
• 通过辅助光照模型估计背景的光照方向与强度，实现自适应、上下文感知的阴影合成。
• 通过可微分空间变换器模块实现局部与全局和谐的统一优化，弥合局部与全局一致性。
• 实现高保真、无伪影的图像构图，同时保持纹理与边界完整性。

提出的方法

• AIC-Net采用分支生成器架构，将前景风格生成与投影阴影生成解耦，实现独立但协同的优化。
• 辅助光照模型从背景图像中估计光照条件（如方向、强度），以指导真实阴影的生成。
• 可微分空间变换器模块将局部和谐化结果与全局背景对齐，实现局部与全局图像一致性的联合优化。
• 使用两个判别器：局部判别器用于评估前景区域的真实性（风格与阴影），全局判别器用于评估整体图像连贯性与构图质量。
• 生成器通过对抗损失进行对抗性训练，辅以感知损失与L1损失，以保留纹理并减少伪影。
• 应用引导特征滤波器以在风格迁移过程中增强纹理保真度，防止模糊并保留细节。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效解耦并联合优化图像构图中的风格迁移与阴影生成？
• RQ2 引入辅助光照模型在多大程度上提升了生成阴影的真实感与适应性？
• RQ3 可微分空间变换器在多大程度上增强了合成图像中局部与全局和谐化的一致性？
• RQ4 与消融变体相比，各组件（分支生成器、光照模型、空间变换器）对整体性能的贡献如何？
• RQ5 该模型能否在无阴影结构显式监督的情况下，泛化至多样化的光照环境与物体类型？

主要发现

• AIC-Net在全局和谐化上的FID得分为81.8，局部和谐化为90.8，显著优于各类消融变体。
• AMT用户研究表明，29%的AIC-Net生成全局和谐化图像被评为最真实，超过所有消融模型。
• 消融实验表明，移除光照模型（AIC-Net(WI)）后，AMT得分降至17%，表明其在真实阴影生成中的关键作用。
• 空间变换器模块对全局一致性至关重要，移除后（AIC-Net(WS)）全局FID下降10分，AMT下降13%。
• 与非分支基线相比，分支生成机制使FID与AMT分别提升5%，证明其在任务解耦中的有效性。
• 引导特征滤波器可减少纹理退化，当其被移除时，MS得分相比基线提升10%。