[论文解读] HDR-VDP-3: A multi-metric for predicting image differences, quality and contrast distortions in high dynamic range and regular content

Rafał Mantiuk, Dounia Hammou+1 more|arXiv (Cornell University)|Apr 26, 2023

Image Enhancement Techniques被引用 25

一句话总结

HDR-VDP-3 是一种多任务视觉度量，使用共享感知模型和任务特定头来预测 HDR 和 SDR 内容的图像质量、可见差异和对比度失真。

ABSTRACT

High-Dynamic-Range Visual-Difference-Predictor version 3, or HDR-VDP-3, is a visual metric that can fulfill several tasks, such as full-reference image/video quality assessment, prediction of visual differences between a pair of images, or prediction of contrast distortions. Here we present a high-level overview of the metric, position it with respect to related work, explain the main differences compared to version 2.2, and describe how the metric was adapted for the HDR Video Quality Measurement Grand Challenge 2023.

研究动机与目标

• 使单一视觉模型具备在 HDR 和 SDR 内容中预测图像差异、质量和对比度失真等不同方面的能力。
• 提供 HDR-VDP-3 的高级概述及其与 HDR-VDP-2 及相关工作的关系。
• 描述 HDR-VDP-3 可以执行的任务以及与 HDR-VDP-2 的关键差异。
• 总结为 HDR-VDP-3 所描述的标定、适应和基于挑战的评估。
• 突出对研究者和从业者有用的实际改进和实现细节。

提出的方法

• 通过一个绝对辐射编码阶段使用显示模型来处理输入图像对。
• 模拟光学和视网膜路径，包括眩光、与年龄相关的晶状体效应、瞳孔和感受器响应。
• 将视网膜输出分解为多尺度、多方向的带以便处理。
• 应用神经对比敏感性和掩蔽模型以预测差异的可见性。
• 将处理后的数据路由到三个头之一，用于可见性图、单值质量或对比失真图。
• 将任务输出（质量、并列差异、闪烁、检测、civdm）对齐并在相关数据集如 UPIQ、WOLSki/YEs 数据集和 HDR 数据集 上进行标定。

Figure 1: The processing diagram of the HDR-VDP-3. The metric requires the images to be calibrated in the absolute radiance or luminance quantity emitted from a display (HDR or SDR). The physical image representation (radiance map) is processed by the optical and retinal pathway which simulates the

实验结果

研究问题

• RQ1 单一感知模型在 HDR 与 SDR 内容中预测多种相关度量（可见性、质量和对比失真）有多好？
• RQ2 在对 HDR 与 SDR 数据集进行标定后，HDR-VDP-3 在不同任务上的表现如何？
• RQ3 与 HDR-VDP-2 相比，哪些关键差异提升了对现代 HDR 内容和色调映射结果的预测？
• RQ4 该度量是否可以适应和标定用于如大型挑战的 HDR 视频质量评估等挑战？

主要发现

• HDR-VDP-3 引入对比度失真度量，作为对动态范围无关质量评估的前沿模型的现代实现。
• 该模型重新拟合对比敏感函数，并包含与年龄相关的眩光和局部适应组件。
• HDR-VDP-3 支持多任务：质量（以 JOD 计）、并排可见性图、闪烁、检测和 civdm，每项都在合适的数据集上进行标定。
• 该方法被改编以参加 WACV HDR Video Quality Measurement Grand Challenge 2023，并应用于 LIVE HDR 帧以进行视频质量预测。
• 代码改进包括 GPU 加速，以及兼容 Matlab 和 GNU Octave，配有更新的示例和重组。