[论文解读] Interactive Portrait Harmonization

Jeya Maria Jose Valanarasu, He Zhang+8 more|arXiv (Cornell University)|Mar 15, 2022

Image Enhancement Techniques被引用 7

一句话总结

本文提出了一种新型框架——交互式人像融合（Interactive Portrait Harmonization, IPH），允许用户选择背景图像中的特定区域（如人物或物体）作为参考，以引导前景的融合，从而克服以往方法依赖整个背景作为引导所带来的局限性。通过使用风格编码器提取并注入参考区域特征（采用自适应实例归一化，并引入亮度匹配损失），IPH 实现了更真实且可控的人像编辑效果，在合成数据集和真实世界数据集（包括野外拍摄的人像）上均优于当前最先进（SOTA）基线方法。

ABSTRACT

Current image harmonization methods consider the entire background as the guidance for harmonization. However, this may limit the capability for user to choose any specific object/person in the background to guide the harmonization. To enable flexible interaction between user and harmonization, we introduce interactive harmonization, a new setting where the harmonization is performed with respect to a selected \emph{region} in the reference image instead of the entire background. A new flexible framework that allows users to pick certain regions of the background image and use it to guide the harmonization is proposed. Inspired by professional portrait harmonization users, we also introduce a new luminance matching loss to optimally match the color/luminance conditions between the composite foreground and select reference region. This framework provides more control to the image harmonization pipeline achieving visually pleasing portrait edits. Furthermore, we also introduce a new dataset carefully curated for validating portrait harmonization. Extensive experiments on both synthetic and real-world datasets show that the proposed approach is efficient and robust compared to previous harmonization baselines, especially for portraits. Project Webpage at \href{https://jeya-maria-jose.github.io/IPH-web/}{https://jeya-maria-jose.github.io/IPH-web/}

研究动机与目标

• 解决现有图像融合方法依赖整个背景作为引导所带来的局限性，该局限性限制了在人像编辑中的用户控制能力。
• 通过允许用户选择背景中特定区域（如人物或物体）作为参考，实现灵活的用户交互。
• 提升人像融合的逼真度，特别是在具有屏幕的影棚背景或光照空间变化复杂等挑战性场景下。
• 开发一种高效、轻量的框架，支持通过调整风格码实现融合与交互式色彩迁移。
• 引入一个新的野外真实人像融合数据集，用于评估真实世界场景下的性能表现。

提出的方法

• 该框架采用编码器-解码器网络结构，输入为合成的前景图像与参考区域，其中参考区域通过风格编码器进行编码，以提取外观特征。
• 引入亮度匹配损失，以对齐前景与所选参考区域之间的亮度与色彩特性，提升视觉真实感。
• 采用自适应实例归一化（AdaIN）层将参考风格注入前景图像，同时保留空间细节与身份特征。
• 通过数据增强技术（包括亮度/对比度调整、色彩抖动、伽马校正、3D LUT 变换以及局部光照效果，如高光、颗粒感）进行训练，以提升模型鲁棒性。
• 通过修改风格码损失函数并融合来自两个独立编码器的风格码，可轻松扩展为支持交互式色彩迁移。
• 该架构参数高效，仅包含 27M 参数，比先前方法（如 Bargain-Net 的 58M 和 Rain-Net 的 54M）更轻量化。

实验结果

研究问题

• RQ1 与使用整个背景作为引导相比，用户引导的区域选择是否能提升人像融合的逼真度与可控性？
• RQ2 亮度匹配损失在对齐前景与所选参考区域之间的外观特性方面是否有效？
• RQ3 所提出的框架是否可有效适配为交互式色彩迁移，同时保持视觉质量与用户控制能力？
• RQ4 为何现有最先进融合方法无法支持交互式引导？其架构上的哪些限制阻碍了此类功能的扩展？
• RQ5 在具有复杂光照与非均匀背景的真实世界、野外人像合成中，所提方法表现如何？

主要发现

• 所提出的 IPH 框架在合成数据集与真实世界人像合成中均实现了更优的视觉质量，尤其在背景包含屏幕或存在空间变化光照的场景下，其性能显著优于先前方法。
• 用户选择的参考区域可产生更真实、更符合上下文的融合结果；与 SOTA 方法（如 Rain-Net）相比，后者在背景缺乏显著特征时表现失败。
• 亮度匹配损失显著提升了前景与参考区域之间的外观一致性，有效减少了色彩与亮度不匹配问题。
• 通过混合两个独立风格码，该框架可有效用于交互式色彩迁移，用户可借助混合比例控制色彩变化的强度。
• IPH 在参数效率方面优于先前方法，仅含 27M 参数，同时保持或提升了性能，表明其具有更高的模型效率。
• 实验表明，将现有网络（如 Bargain-Net 与 Rain-Net）修改为支持交互式引导后，性能提升微乎其微甚至无提升，凸显了本框架在架构设计上的新颖性与必要性。