[论文解读] FRIH: Fine-grained Region-aware Image Harmonization

Jinlong Peng, Zekun Luo+7 more|arXiv (Cornell University)|May 13, 2022

Image and Signal Denoising Methods被引用 5

一句话总结

该论文提出FRIH，一种两阶段端到端的细粒度区域感知图像合成方法，通过按局部区域自适应调整合成效果来提升图像真实感。该方法基于RGB值对前景掩码进行自适应聚类，并采用轻量级级联模块与特征融合机制以增强局部细节，在iHarmony4数据集上仅用1198万个参数即达到SOTA性能（PSNR 38.19 dB）。

ABSTRACT

Image harmonization aims to generate a more realistic appearance of foreground and background for a composite image. Existing methods perform the same harmonization process for the whole foreground. However, the implanted foreground always contains different appearance patterns. All the existing solutions ignore the difference of each color block and losing some specific details. Therefore, we propose a novel global-local two stages framework for Fine-grained Region-aware Image Harmonization (FRIH), which is trained end-to-end. In the first stage, the whole input foreground mask is used to make a global coarse-grained harmonization. In the second stage, we adaptively cluster the input foreground mask into several submasks by the corresponding pixel RGB values in the composite image. Each submask and the coarsely adjusted image are concatenated respectively and fed into a lightweight cascaded module, adjusting the global harmonization performance according to the region-aware local feature. Moreover, we further designed a fusion prediction module by fusing features from all the cascaded decoder layers together to generate the final result, which could utilize the different degrees of harmonization results comprehensively. Without bells and whistles, our FRIH algorithm achieves the best performance on iHarmony4 dataset (PSNR is 38.19 dB) with a lightweight model. The parameters for our model are only 11.98 M, far below the existing methods.

研究动机与目标

• 解决现有图像合成方法对整个前景区域统一处理、忽略区域间外观差异的局限性。
• 通过基于局部色彩模式与结构特征的区域特定合成，提升合成图像的真实感。
• 设计一种轻量化、端到端可训练的框架，在不依赖复杂架构或大参数量的前提下实现卓越性能。
• 增强对具有显著颜色或纹理的子区域（如绿色衣物、红色花环）的细节保留能力，这些区域常因全局方法处理不当而出现合成失真。
• 通过基准数据集上的定量指标与人工评估验证方法的有效性。

提出的方法

• 该方法采用两阶段框架：第一阶段使用类似U-Net的编码器-解码器结构，结合完整前景掩码进行全局粗粒度合成。
• 第二阶段根据合成图像中对应像素的RGB值，对前景掩码进行自适应聚类，生成子掩码以实现区域感知处理。
• 每个子掩码与粗粒度调整后的图像拼接后，输入轻量级级联解码器模块，以精细化处理局部合成效果。
• 融合预测模块整合所有解码器层的特征，全面利用多层级合成结果以生成最终输出。
• 整个网络端到端训练，确保全局优化，且子掩码聚类动态适应输入图像内容。
• 聚类阈值$d_c$设为0.1，以在粒度与降噪之间取得平衡，实现最佳性能。

实验结果

研究问题

• RQ1 两阶段区域感知方法是否可通过适配局部外观模式来提升图像合成效果？
• RQ2 基于RGB值对前景掩码进行自适应聚类，是否能更好地保留多样化色彩区域的精细细节？
• RQ3 仅含1198万个参数的轻量化模型能否在PSNR与感知质量上均超越现有SOTA方法？
• RQ4 多层级解码器特征的融合相比单层级预测，如何提升最终合成效果？
• RQ5 与人类感知相比，所提方法在真实感提升方面达到何种程度，可通过用户研究验证？

主要发现

• FRIH在iHarmony4数据集上达到最高PSNR值38.19 dB，超越所有现有SOTA方法。
• 模型仅含1198万个参数，显著少于同类竞争方法（如DoveNet：5476万个，IIH：4083万个），展现出高效率。
• 计算成本降低至25.12 GFLOPS，与轻量化模型DoveNet和RainNet相当，远低于IIH的196.3 GFLOPS。
• 在用户研究中，FRIH获得733票（偏好率40.6%），显著优于DoveNet（12.1%）、RainNet（23.2%）及其他SOTA方法。
• 定性结果表明，与基线方法相比，FRIH在复杂区域（如绿色衬衫、红色花环）的细节保留方面表现更优，后者常在特定色块区域出现失败。
• 消融实验表明，$d_c = 0.1$时性能最优，过细（$d_c = 0.01$）或过粗（$d_c = 0.3, 0.4$）的聚类均因噪声或误分类导致性能下降。