[论文解读] GANs-NQM: A Generative Adversarial Networks based No Reference Quality Assessment Metric for RGB-D Synthesized Views

Suiyi Ling, Jing Li+2 more|arXiv (Cornell University)|Mar 28, 2019

Advanced Vision and Imaging参考文献 54被引用 6

一句话总结

本文提出 GANs-NQM，一种基于生成对抗网络（GAN）的无参考质量度量方法，用于评估 RGB-D 合成视图的感知质量。该方法在大规模 2D 数据集上进行训练，而非使用 RGB-D 数据，利用训练好的判别器学习一个“畸变词袋”（Bag of Distortion Words）码书，以识别局部畸变，从而实现高精度的感知质量预测。该方法在性能上超越了当前最先进的度量方法，同时作为副产品，还生成了一个高质量的上下文修复器（inpainter）。

ABSTRACT

In this paper, we proposed a no-reference (NR) quality metric for RGB plus image-depth (RGB-D) synthesis images based on Generative Adversarial Networks (GANs), namely GANs-NQM. Due to the failure of the inpainting on dis-occluded regions in RGB-D synthesis process, to capture the non-uniformly distributed local distortions and to learn their impact on perceptual quality are challenging tasks for objective quality metrics. In our study, based on the characteristics of GANs, we proposed i) a novel training strategy of GANs for RGB-D synthesis images using existing large-scale computer vision datasets rather than RGB-D dataset; ii) a referenceless quality metric based on the trained discriminator by learning a `Bag of Distortion Word' (BDW) codebook and a local distortion regions selector; iii) a hole filling inpainter, i.e., the generator of the trained GANs, for RGB-D dis-occluded regions as a side outcome. According to the experimental results on IRCCyN/IVC DIBR database, the proposed model outperforms the state-of-the-art quality metrics, in addition, is more applicable in real scenarios. The corresponding context inpainter also shows appealing results over other inpainting algorithms.

研究动机与目标

• 为解决在 RGB-D 合成视图中评估感知质量的挑战，特别是由于遮挡区域中非均匀的修复畸变所致的问题。
• 开发一种无需参考图像的无参考质量度量方法，以实现实时且实用的部署。
• 通过在大规模 2D 计算机视觉数据集上训练，克服小规模、噪声较多的 RGB-D 数据集的局限性。
• 在 GAN 训练过程中，同时生成高性能的上下文修复器作为附加收益。
• 对复杂纹理区域和物体边界处的感知相关畸变（如模糊和鬼影）进行建模。

提出的方法

• 提出一种新颖的 GAN 训练策略，仅使用 2D 图像数据集（如 ImageNet）而非 RGB-D 数据集，通过合成深度图和掩码模拟遮挡区域的伪影。
• 对判别器进行微调，以学习“畸变词袋”（BDW）码书，编码从合成视图中提取的局部畸变模式。
• 从判别器的特征图中推导出局部畸变区域选择器，用于识别和定位非均匀的修复伪影。
• 将 BDW 码书与畸变区域特征作为输入，输入至支持向量回归器（SVR）以预测感知质量分数。
• 将训练后 GAN 的生成器重新用于作为 RGB-D 合成中遮挡区域的上下文修复器，利用相同的训练数据和网络架构。
• 通过结合感知损失与对抗损失进行模型训练，以在填充区域中保持结构与纹理的一致性。

实验结果

研究问题

• RQ1 在大规模 2D 图像数据集上训练的 GAN 是否能有效评估 RGB-D 合成视图的感知质量，而无需参考图像或 RGB-D 数据集？
• RQ2 如何利用 GAN 的判别器来检测并量化合成视图中遮挡区域的非均匀修复畸变？
• RQ3 此类 GAN 的生成器是否可被有效重用于作为 RGB-D 合成的高性能上下文修复器？
• RQ4 所提出的 GANs-NQM 度量方法在真实世界 RGB-D 合成数据上的性能，与现有最先进的全参考和无参考质量度量方法相比如何？
• RQ5 所提出的训练策略（避免使用噪声较多的深度数据）在多大程度上能泛化到真实世界的遮挡伪影？

主要发现

• GANs-NQM 在 IRCCyN/IVC DIBR 数据库上的所有评估指标中均表现最佳，超越了所有全参考和无参考的最先进方法。
• 该模型的归一化执行时间为 1.25，显著快于第二好的无参考度量方法 APT 和最好的全参考度量方法 ST-IQM，表明其具有出色的实时应用潜力。
• 预训练的生成器（即修复器）在具有挑战性的遮挡区域（尤其是物体边界和均质纹理区域）上，相比其他修复算法，生成了更优的结果。
• 该修复器能更准确地保留细小结构（如发丝和海报角落），有效减少鬼影和双边缘伪影。
• 使用 2D 数据集而非 RGB-D 数据集，仅用 10,000 张图像即可实现有效训练，证明了方法在数据量有限情况下的可扩展性与鲁棒性。
• BDW 码书与局部畸变选择器能有效捕捉感知上显著的伪影，即使在复杂且非均匀的畸变模式下，也能实现高精度的质量预测。