[论文解读] MCL-3D: a database for stereoscopic image quality assessment using 2D-image-plus-depth source

Rui Song, Hyunsuk Ko+1 more|arXiv (Cornell University)|Mar 23, 2014

Image and Video Quality Assessment参考文献 21被引用 62

一句话总结

本文介绍了MCL-3D，这是一个公开的立体图像质量评估数据库，通过基于深度图像的渲染（DIBR）技术，从2D图像和深度图生成。该研究在多种失真类型（如模糊、噪声、压缩和渲染伪影）下评估了2D与3D图像质量度量方法，结果表明现有客观度量方法在预测3D内容的感知质量方面仍存在不足。

ABSTRACT

A new stereoscopic image quality assessment database rendered using the 2D-image-plus-depth source, called MCL-3D, is described and the performance benchmarking of several known 2D and 3D image quality metrics using the MCL-3D database is presented in this work. Nine image-plus-depth sources are first selected, and a depth image-based rendering (DIBR) technique is used to render stereoscopic image pairs. Distortions applied to either the texture image or the depth image before stereoscopic image rendering include: Gaussian blur, additive white noise, down-sampling blur, JPEG and JPEG-2000 (JP2K) compression and transmission error. Furthermore, the distortion caused by imperfect rendering is also examined. The MCL-3D database contains 693 stereoscopic image pairs, where one third of them are of resolution 1024x728 and two thirds are of resolution 1920x1080. The pair-wise comparison was adopted in the subjective test for user friendliness, and the Mean Opinion Score (MOS) can be computed accordingly. Finally, we evaluate the performance of several 2D and 3D image quality metrics applied to MCL-3D. All texture images, depth images, rendered image pairs in MCL-3D and their MOS values obtained in the subjective test are available to the public (http://mcl.usc.edu/mcl-3d-database/) for future research and development.

研究动机与目标

• 开发一个基于2D图像加深度图作为源格式的全面立体图像质量评估数据库。
• 评估现有2D与3D图像质量度量方法在影响纹理图与深度图的多种失真类型下的表现。
• 提供一个公开可访问的资源，以支持未来在3D图像质量评估领域的研究。
• 研究非对称失真和渲染缺陷对感知3D图像质量的影响。
• 对当前客观质量度量方法在预测3D内容人类感知能力方面的局限性进行基准测试。

提出的方法

• 选取了九组2D纹理图像及其对应的深度图作为立体渲染的源素材。
• 采用基于深度图像的渲染（DIBR）技术，从2D+深度图输入生成左右立体视图。
• 在渲染前，独立地将多种失真类型应用于纹理图像或深度图：高斯模糊、加性白噪声、下采样模糊、JPEG、JPEG-2000（JP2K）压缩以及传输错误。
• 还将不完美的渲染效果作为失真来源，以模拟真实世界中的渲染伪影。
• 采用成对主观测试方法收集平均意见得分（MOS），确保用户友好性和可靠性。
• 使用皮尔逊相关系数（PCC）、斯皮尔曼等级相关系数（SROCC）和均方误差（MSE）评估14种2D与3D图像质量度量方法在MOS值上的表现。

实验结果

研究问题

• RQ1 不同类型的失真（应用于纹理图或深度图）如何影响立体图像的感知质量？
• RQ2 现有2D与3D图像质量度量方法在MCL-3D数据库上与人类主观感知的相关性如何？
• RQ3 3D专用质量度量方法在3D图像质量评估基准测试中，其表现与2D度量方法相比如何？
• RQ4 非对称失真和渲染缺陷对3D图像对感知质量的影响是什么？
• RQ5 MCL-3D数据库能否作为开发和验证新型客观3D图像质量评估模型的可靠基准？

主要发现

• MCL-3D数据库包含693对立体图像，其中1/3分辨率为1024×728，2/3分辨率为1920×1080。
• 数据库中包含应用于纹理图或深度图的失真，如高斯模糊、加性白噪声、下采样模糊、JPEG、JP2K压缩以及传输错误。
• 在MCL-3D上表现最佳的2D度量方法是PSNR_HVS，其皮尔逊相关系数（PCC）为0.8783，斯皮尔曼等级相关系数（SROCC）为0.8857。
• 在3D专用度量方法中，基于结构失真参数的Method D在MCL-3D上达到PCC为0.8910，SROCC为0.8880，但其MSE值较高（6.8870），表明结果不一致。
• 现有3D质量度量方法并未显著优于2D度量方法，其中基于SSIM扩展的Method C在多个数据库上表现优异（PCC: 0.8683，SROCC: 0.8690）。
• 结果表明，设计一种鲁棒且可泛化的客观3D图像质量度量方法仍是开放性挑战，尤其在非对称和复杂失真条件下。