[论文解读] Light-weight pixel context encoders for image inpainting

Nanne van Noord, Eric Postma|arXiv (Cornell University)|Jan 17, 2018

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 5

一句话总结

本文提出像素内容编码器（PCE），一种轻量级图像修复模型，采用空洞卷积在不下采样的情况下保持空间分辨率与上下文信息，相较于先前模型参数量减少10倍，在自然图像与绘画图像上均取得最先进性能。该架构可实现大范围缺失区域的高保真生成，并且无需架构修改即可泛化至图像外推任务。

ABSTRACT

In this work we propose Pixel Content Encoders (PCE), a light-weight image inpainting model, capable of generating novel con-tent for large missing regions in images. Unlike previously presented convolutional neural network based models, our PCE model has an order of magnitude fewer trainable parameters. Moreover, by incorporating dilated convolutions we are able to preserve fine grained spatial information, achieving state-of-the-art performance on benchmark datasets of natural images and paintings. Besides image inpainting, we show that without changing the architecture, PCE can be used for image extrapolation, generating novel content beyond existing image boundaries.

研究动机与目标

• 开发一种轻量级图像修复模型，以保持高空间分辨率与上下文感知能力。
• 在不降低大范围缺失区域性能的前提下，降低模型复杂度与参数量。
• 通过单一灵活架构，实现对缺失或扩展图像区域中新型内容的高质量生成。
• 探索使用同一模型同时完成图像修复与图像外推任务的可行性。
• 展示模型在ImageNet与PaintersN等多样化数据集上实现无数据依赖的泛化能力。

提出的方法

• 模型使用空洞卷积在不下采样的情况下扩展感受野，从而在整个编码器中保持完整的空间分辨率。
• 采用PatchGAN判别器，以确保生成区域在局部与全局层面的感知一致性。
• 编码器通过堆叠空洞卷积层并逐步增加空洞率，捕捉多尺度上下文信息。
• 架构避免瓶颈压缩，以保持对局部一致性至关重要的细粒度空间细节。
• 模型通过对抗损失与L1重建损失进行端到端训练，以平衡感知质量与像素级精度。
• 通过掩码中心区域并训练模型重建周围区域，实现图像外推，本质上是将修复任务反转。

实验结果

研究问题

• RQ1 轻量级CNN-based修复模型是否能在参数量显著少于现有模型的情况下实现最先进性能？
• RQ2 使用空洞卷积是否能更好地保留大范围缺失区域中的空间细节与局部一致性？
• RQ3 同一架构是否能在无需微调的情况下泛化至多样化图像领域（如自然图像与绘画）？
• RQ4 该模型在标准修复任务之外，能在多大程度上适应图像外推任务？
• RQ5 当在某一数据集上训练并在另一数据集上评估时，模型性能是否具有鲁棒性？

主要发现

• PCE在ImageNet与PaintersN基准数据集上均取得最先进性能，在RMSE与PSNR指标上均优于先前模型。
• 在ImageNet数据集上，PCE在图像外推任务中实现PSNR为18.08、RMSE为31.81，展现出强大的泛化能力。
• 在PaintersN数据集上，PCE实现PSNR为17.92、RMSE为32.39，表明其在不同艺术风格下性能一致。
• 尽管参数量较先前模型减少一个数量级，PCE在所有评估基准上仍保持或超越其性能。
• 该模型在图像外推任务中成功生成了合理且上下文一致的内容，扩展至图像边界之外。
• 跨数据集评估表明，于某一领域（如ImageNet）训练的模型能良好泛化至另一领域（如PaintersN），表明其学习到了无数据依赖的上下文表征。