[论文解读] No-Reference Point Cloud Quality Assessment via Domain Adaptation

Qi Yang, Yipeng Liu+3 more|arXiv (Cornell University)|Dec 6, 2021

Infrared Thermography in Medicine被引用 5

一句话总结

该论文提出 IT-PCQA，一种无参考点云质量评估方法，通过无监督对抗域自适应技术，将自然图像（源域）中的质量感知知识迁移至 3D 点云（目标域）。通过使用分层特征编码器和带有新型条件交叉熵损失的条件判别网络，该方法在无需大规模标注点云数据库的情况下，实现了与全参考指标相当的最先进性能。

ABSTRACT

We present a novel no-reference quality assessment metric, the image transferred point cloud quality assessment (IT-PCQA), for 3D point clouds. For quality assessment, deep neural network (DNN) has shown compelling performance on no-reference metric design. However, the most challenging issue for no-reference PCQA is that we lack large-scale subjective databases to drive robust networks. Our motivation is that the human visual system (HVS) is the decision-maker regardless of the type of media for quality assessment. Leveraging the rich subjective scores of the natural images, we can quest the evaluation criteria of human perception via DNN and transfer the capability of prediction to 3D point clouds. In particular, we treat natural images as the source domain and point clouds as the target domain, and infer point cloud quality via unsupervised adversarial domain adaptation. To extract effective latent features and minimize the domain discrepancy, we propose a hierarchical feature encoder and a conditional-discriminative network. Considering that the ultimate purpose is regressing objective score, we introduce a novel conditional cross entropy loss in the conditional-discriminative network to penalize the negative samples which hinder the convergence of the quality regression network. Experimental results show that the proposed method can achieve higher performance than traditional no-reference metrics, even comparable results with full-reference metrics. The proposed method also suggests the feasibility of assessing the quality of specific media content without the expensive and cumbersome subjective evaluations. Code is available at https://github.com/Qi-Yangsjtu/IT-PCQA.

研究动机与目标

• 解决训练鲁棒的无参考点云质量评估（PCQA）模型时缺乏大规模主观数据库的问题。
• 利用成熟的自然图像质量评估（IQA）领域，将基于人类视觉系统（HVS）的感知知识迁移至 3D 点云。
• 构建一种域自适应框架，以最小化 2D 图像与 3D 点云之间的域偏移，同时保持质量回归性能。
• 实现在参考数据不可用的真实世界应用中对点云质量的准确预测。
• 证明从图像进行的迁移学习能够有效泛化至点云的 3D 几何与属性失真。

提出的方法

• 使用六个垂直投影将 3D 点云投影为多视角 2D 图像，以实现与自然图像的共享特征学习。
• 设计一种分层挤压-激励卷积神经网络（H-SCNN），从图像和投影点云中提取多尺度特征。
• 采用基于条件判别网络的无监督对抗域自适应框架，对齐源域（图像）与目标域（点云）之间的特征分布。
• 提出一种新型条件交叉熵损失（CCEL），惩罚与质量回归无关的特征，提升收敛速度与预测准确性。
• 使用组合损失进行模型训练：回归损失（L_R）用于质量分数预测，域自适应损失（MMD 和对抗损失）用于减少域差异。
• 使用 SROCC 作为评估指标，衡量训练和验证过程中预测质量分数与主观质量分数之间的相关性。

实验结果

研究问题

• RQ1 能否在无标注点云数据的情况下，有效将大规模自然图像质量评估数据库中的先验知识迁移至 3D 点云质量评估？
• RQ2 无监督对抗域自适应在减少 2D 图像与 3D 点云之间域偏移以实现质量预测方面有多有效？
• RQ3 与标准对抗损失或 MMD 基于损失相比，所提出的条件交叉熵损失是否能提升特征质量与回归性能？
• RQ4 多视角图像投影是否比单视角投影更能捕捉点云质量评估中的失真模式？
• RQ5 在无法访问参考点云的情况下，无参考 PCQA 模型在多大程度上可实现与全参考指标相当的性能？

主要发现

• 在 TID2013 上进行训练时，所提出的 IT-PCQA 模型在 WPC 数据集上实现了 PLCC 0.5491 和 SROCC 0.5371，显著优于基线方法。
• 使用多视角投影（2D-2）的性能优于单视角输入（2D-1），在 WPC 数据集上 PLCC 从 0.3841 提升至 0.5491。
• 条件交叉熵损失（CCEL）实现了最佳整体性能，达到 PLCC 0.5491 和 SROCC 0.5371，优于 L_R、L_T1 和 L_T2 等损失变体。
• 采用 CCEL 训练的模型在 LIVE 到 WPC 的基准测试中实现了 PLCC 0.5791 和 SROCC 0.6342，表明其在不同数据集间具有强大的泛化能力。
• 分层特征编码器（H-SCNN）优于其他特征生成器，证明了多尺度表征在 PCQA 域自适应中的重要性。
• 消融研究证实，单纯最小化域差异（通过 MMD 或标准 GAN 损失）并不能提升性能，甚至可能降低结果，凸显了任务特定损失设计的必要性。