[论文解读] Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting

Zili Yi, Qiang Tang+3 more|arXiv (Cornell University)|May 19, 2020

Advanced Image Processing Techniques参考文献 33被引用 30

一句话总结

论文通过 Contextual Residual Aggregation (CRA) 预测低分辨率填充并从上下文补丁聚合高频残差，实现超高分辨率图像修复，使用轻量、快速模型达到 8K 修复。

ABSTRACT

Recently data-driven image inpainting methods have made inspiring progress, impacting fundamental image editing tasks such as object removal and damaged image repairing. These methods are more effective than classic approaches, however, due to memory limitations they can only handle low-resolution inputs, typically smaller than 1K. Meanwhile, the resolution of photos captured with mobile devices increases up to 8K. Naive up-sampling of the low-resolution inpainted result can merely yield a large yet blurry result. Whereas, adding a high-frequency residual image onto the large blurry image can generate a sharp result, rich in details and textures. Motivated by this, we propose a Contextual Residual Aggregation (CRA) mechanism that can produce high-frequency residuals for missing contents by weighted aggregating residuals from contextual patches, thus only requiring a low-resolution prediction from the network. Since convolutional layers of the neural network only need to operate on low-resolution inputs and outputs, the cost of memory and computing power is thus well suppressed. Moreover, the need for high-resolution training datasets is alleviated. In our experiments, we train the proposed model on small images with resolutions 512x512 and perform inference on high-resolution images, achieving compelling inpainting quality. Our model can inpaint images as large as 8K with considerable hole sizes, which is intractable with previous learning-based approaches. We further elaborate on the light-weight design of the network architecture, achieving real-time performance on 2K images on a GTX 1080 Ti GPU. Codes are available at: Atlas200dk/sample-imageinpainting-HiFill.

研究动机与目标

• 在内存限制下，推动超高分辨率图像（最高可达 8K）的修复。
• 开发一个低分辨率预测管线，能够为缺失区域产生清晰的高频残差。
• 提出一种轻量级网络架构，具有效率的门控卷积和多尺度注意力传递。
• 利用基于上下文的残差聚合，将周围区域的高频细节转移。
• 表明在低分辨率数据上训练即可推广到高分辨率推理，同时保持质量。

提出的方法

• 从下采样输入预测一个低分辨率修复结果，然后上采样为大尺寸模糊图像。
• 通过用原图减去大尺寸模糊图像来计算高频残差，并使用上下文注意力分数聚合残差。
• 使用 Attention Computing Module (ACM) 计算洞内与洞外补丁之间的逐补丁余弦相似度。
• 使用 Attention Transfer Module (ATM) 在多个特征层级中通过带有共享注意力分数的加权平均来填充洞中补丁。
• 将残差跨上下文补丁聚合，在加回上采样模糊图像时产生洞内清晰结果。
• 采用 Light Weight Gated Convolutions (LWGC) 构建纤薄、快速的生成器，采用两阶段网络的粗略和细化阶段。
• 使用 WGAN-GP 对抗损失和重建损失进行训练，并使用随机不规则掩模来模拟现实世界的洞。

实验结果

研究问题

• RQ1 是否可以通过低分辨率预测和残差聚合来实现超高分辨率修复，从而降低内存和计算需求？
• RQ2 在 2K–8K 分辨率下，基于上下文的残差聚合在质量和速度上与先前的基于注意力和补丁的修复方法相比如何？
• RQ3 哪些架构选择（LWGC、多尺度注意力传递）最能提升大洞修复的性能和效率？
• RQ4 在 512×512 数据上训练是否足以在更大图像上实现高质量修复？

主要发现

• CRA 在有限内存和计算下，能够实现最多 8K 的修复，且大洞（最多 25%）。
• 所提出的模型在 GTX 1080 Ti 上对 2K 图像实现实时性能。
• 该方法在 Places2 上提供强量化结果，在测试的尺度中具有最低的 L1，以及有竞争力的 MS-SSIM 和 FID。
• 具有共享注意力分数和多尺度注意力传递的 CRA 在保持质量的同时减少了参数和计算量。
• LWGC 变体（LWGC sc 和 LWGC pw）在质量损失极小的情况下提供显著的效率提升。
• 与其他基于学习的方法相比，CRA 更快，且在视觉质量上更好或可比，尤其是在较高分辨率输入时。