[论文解读] Flickr1024: A Large-Scale Dataset for Stereo Image Super-Resolution

Yingqian Wang, Longguang Wang+3 more|arXiv (Cornell University)|Mar 15, 2019

Advanced Image Processing Techniques参考文献 17被引用 4

一句话总结

本文介绍了 Flickr1024，这是一个大规模的立体超分辨率数据集，包含从 Flickr 收集的 1,024 对高质量、多样化的真实世界图像对，且已获得用户许可。该数据集通过减少过拟合并在多个基准测试中提升 PSNR 和 SSIM，显著改善了立体超分辨率的性能，在使用最先进的模型（如 PASSRnet 和 StereoSR）进行跨数据集评估时，表现优于 KITTI 和 Middlebury 数据集。

ABSTRACT

With the popularity of dual cameras in recently released smart phones, a growing number of super-resolution (SR) methods have been proposed to enhance the resolution of stereo image pairs. However, the lack of high-quality stereo datasets has limited the research in this area. To facilitate the training and evaluation of novel stereo SR algorithms, in this paper, we present a large-scale stereo dataset named Flickr1024, which contains 1024 pairs of high-quality images and covers diverse scenarios. We first introduce the data acquisition and processing pipeline, and then compare several popular stereo datasets. Finally, we conduct crossdataset experiments to investigate the potential benefits introduced by our dataset. Experimental results show that, as compared to the KITTI and Middlebury datasets, our Flickr1024 dataset can help to handle the over-fitting problem and significantly improves the performance of stereo SR methods. The Flickr1024 dataset is available online at: https://yingqianwang.github.io/Flickr1024.

研究动机与目标

• 为解决缺乏大规模、高质量、涵盖多样化真实世界场景的立体超分辨率数据集的问题。
• 促进基于深度学习的立体超分辨率方法在驾驶或实验室环境之外的训练与评估。
• 探究更大、更丰富的数据集是否能提升立体超分辨率模型的泛化能力并减少过拟合。
• 提供一个全面、公开可用的数据集，以支持立体图像超分辨率领域的工业与学术研究。

提出的方法

• 通过人工从 Flickr 收集 1,024 对立体图像对，并确保已获得原始摄影师的许可。
• 图像经过处理流程，将交叉眼对齐校正为平行光轴，以确保超分辨率任务中具有正确的立体几何结构。
• 多步骤数据处理流程包括图像对齐、分辨率标准化，以及使用 BRISQE、ENIQA 和 SR-metric 等指标进行感知质量评估。
• 数据集按感知质量指标的均衡分布划分为训练集、验证集和测试集，以最小化偏差。
• 通过在不同数据集上训练、在所有基准上测试的最先进立体超分辨率模型（StereoSR 和 PASSRnet）进行跨数据集评估。
• 使用 PSNR 和 SSIM 在多个数据集（包括 KITTI、Middlebury、ETH3D 和 Flickr1024 本身）上对性能进行定量评估。

实验结果

研究问题

• RQ1 大规模、多样化立体图像数据集是否能提升基于深度学习的立体超分辨率模型的泛化性能？
• RQ2 在图像质量、多样性与分辨率方面，Flickr1024 数据集与现有立体数据集（KITTI、Middlebury、ETH3D）相比如何？
• RQ3 与在较小、较不多样化的数据集上训练相比，Flickr1024 是否能减少立体超分辨率模型的过拟合？
• RQ4 在跨数据集评估中，Flickr1024 数据集在不同测试集上对 PSNR 和 SSIM 性能的提升程度如何？

主要发现

• 在跨数据集评估中，Flickr1024 数据集在所有测试集上均达到最高的平均 PSNR 和 SSIM 分数，优于在 KITTI2015 和 Middlebury 数据集上训练的模型。
• 在 Flickr1024 上训练的模型随着训练轮次增加，性能持续提升，表明过拟合减少；而基于 KITTI2015 训练的模型在某一阶段后性能出现下降。
• 在相同测试集上评估时，Flickr1024 将平均 PSNR 提升了 1.04 dB（相比 KITTI2015）和 0.58 dB（相比 Middlebury）。
• 该数据集展现出优越的感知图像质量，ENIQA 得分最高（0.065），BRISQE（19.40）和 SR-metric（7.12）值也表现良好，表明图像具有高视觉质量与丰富的纹理。
• 统计比较显示，Flickr1024 在训练集、验证集和测试集之间图像质量指标分布均衡，有效减少了数据泄露与偏差。
• 该数据集涵盖自然场景和日常摄影等多样化的真实世界场景，使其在移动设备中实现立体超分辨率模型的实际部署方面具有高度适用性。