[论文解读] AIM 2020 Challenge on Rendering Realistic Bokeh

Andrey Ignatov, Radu Timofte+33 more|arXiv (Cornell University)|Nov 10, 2020

Advanced Image Processing Techniques参考文献 37被引用 6

一句话总结

本论文介绍了AIM 2020真实景深渲染挑战赛，该比赛评估了基于大规模EBB!数据集（包含5,000对浅景深与广角景深图像）的深度学习模型，旨在从单张图像生成高质量景深效果。挑战赛同时强调感知质量与推理效率，顶尖解决方案在桌面CPU和智能手机GPU上均实现了当前最优性能，采用的网络架构包括改进的U-Net、动态滤波和基于小波的CNN。

ABSTRACT

This paper reviews the second AIM realistic bokeh effect rendering challenge and provides the description of the proposed solutions and results. The participating teams were solving a real-world bokeh simulation problem, where the goal was to learn a realistic shallow focus technique using a large-scale EBB! bokeh dataset consisting of 5K shallow / wide depth-of-field image pairs captured using the Canon 7D DSLR camera. The participants had to render bokeh effect based on only one single frame without any additional data from other cameras or sensors. The target metric used in this challenge combined the runtime and the perceptual quality of the solutions measured in the user study. To ensure the efficiency of the submitted models, we measured their runtime on standard desktop CPUs as well as were running the models on smartphone GPUs. The proposed solutions significantly improved the baseline results, defining the state-of-the-art for practical bokeh effect rendering problem.

研究动机与目标

• 利用真实世界数据推进示例驱动的单图像景深渲染技术的最先进水平。
• 不仅评估模型的感知质量，还评估其在消费级硬件上部署的运行时效率。
• 利用大规模、真实世界采集的DSLR相机数据集，建立真实景深渲染的基准测试。
• 促进适用于桌面CPU和移动GPU部署的高效模型设计。
• 将用户研究指标（MOS）与定量指标（PSNR、SSIM）相结合，实现对景深质量的综合评估。

提出的方法

• 使用了由佳能70D DSLR拍摄的5,000对真实世界浅景深与广角景深图像组成的大型EBB!数据集。
• 通过SIFT和RANSAC进行图像对齐，随后进行裁剪和下采样至1024像素高度的预处理。
• 提出了两个挑战赛道：一个针对桌面CPU优化，另一个针对支持TensorFlow Lite的智能手机GPU推理。
• 采用多尺度评估框架，结合PSNR、SSIM、推理运行时间与用户研究MOS评分。
• 实现了多种深度学习架构，包括改进的U-Net、动态滤波网络、基于小波的CNN以及带有通道注意力机制的残差网络。
• 使用均方误差和Charbonnier损失等损失函数进行模型训练，以提升边缘保持能力和感知质量。

实验结果

研究问题

• RQ1 深度学习模型如何在无额外传感器数据的情况下，仅从单张输入图像生成逼真的景深效果？
• RQ2 在景深渲染模型中，感知质量与推理效率之间的权衡关系如何？
• RQ3 哪些神经网络架构在CPU和移动GPU平台上实现了视觉保真度与运行时性能的最佳平衡？
• RQ4 用户感知评分（MOS）与PSNR、SSIM等定量指标在景深渲染中的相关性如何？
• RQ5 基于真实世界数据训练的高效轻量化模型是否能在实际部署场景中超越现有基线模型？

主要发现

• 表现最佳的模型在感知质量与运行时效率方面均显著优于基线方法。
• 智能手机GPU赛道的解决方案实现在移动设备上的实时推理，证明了设备端景深渲染的可行性。
• 采用动态滤波与多尺度上下文聚合技术显著提升了景深效果的逼真度与清晰度。
• 基于改进U-Net架构、采用步幅卷积与跳跃连接的模型在计算成本降低的同时实现了优异性能。
• 用户研究MOS评分与SSIM和PSNR指标具有良好相关性，验证了这些指标在景深质量评估中的有效性。
• EBB!数据集在训练泛化至真实世界条件（包括多变光照与天气）的模型方面表现出色。