[論文レビュー] HDR-VDP-3: A multi-metric for predicting image differences, quality and contrast distortions in high dynamic range and regular content

Rafał Mantiuk, Dounia Hammou+1 more|arXiv (Cornell University)|Apr 26, 2023

Image Enhancement Techniques被引用数 25

ひとこと要約

HDR-VDP-3 は、HDR および SDR コンテンツの画像品質、可視差、およびコントラスト歪みを予測するマルチタスク視覚指標で、タスク固有のヘッドを持つ共有知覚モデルを使用します。

ABSTRACT

High-Dynamic-Range Visual-Difference-Predictor version 3, or HDR-VDP-3, is a visual metric that can fulfill several tasks, such as full-reference image/video quality assessment, prediction of visual differences between a pair of images, or prediction of contrast distortions. Here we present a high-level overview of the metric, position it with respect to related work, explain the main differences compared to version 2.2, and describe how the metric was adapted for the HDR Video Quality Measurement Grand Challenge 2023.

研究の動機と目的

• HDR および SDR コンテンツ全体で、画像差異、品質、コントラスト歪みの異なる側面を予測できる単一の視覚モデルを動機づける。
• HDR-VDP-3 の概要と HDR-VDP-2 および関連研究との関係についての高レベルの概要を提供する。
• HDR-VDP-3 が実行できるタスクと HDR-VDP-2 との差の要点を説明する。
• HDR-VDP-3 に記述されたキャリブレーション、適応、およびチャレンジ駆動の評価を要約する。
• 研究者や実務家に有用な実践的な改善点と実装の詳細を強調する。

提案手法

• ディスプレイモデルを用いて、絶対放射測定エンコーディング段階を経た入力画像ペアを処理する。
• 眩光、老化によるレンズ効果、瞳孔、視細胞反応を含む光学系と眼底の経路をシミュレートする。
• 処理のために網膜出力を多重尺度・多方位バンドに分解する。
• 差の可視性を予測するために、ニューラルコントラスト感度とマスキングモデルを適用する。
• 処理済みデータを、可視性マップ、単一値品質、またはコントラスト歪みマップのいずれかのヘッドへルーティングする。
• タスク出力（品質、並置差、ちらつき、検出、civdm）を、UPIQ、WOLSki/YEs データセット、および HDR データセットなどの関連データセットに対してキャリブレーションする。

Figure 1: The processing diagram of the HDR-VDP-3. The metric requires the images to be calibrated in the absolute radiance or luminance quantity emitted from a display (HDR or SDR). The physical image representation (radiance map) is processed by the optical and retinal pathway which simulates the

実験結果

リサーチクエスチョン

• RQ1 単一の知覚モデルは、HDR および SDR コンテンツに対して、可視性、品質、コントラスト歪みという複数の関連指標をどれだけ正確に予測できるか？
• RQ2 HDR および SDR データセットでキャリブレーションした場合、さまざまなタスクにおける HDR-VDP-3 の性能はどうなるか？
• RQ3 現代の HDR コンテンツおよびトーンマップされた結果の予測を改善する HDR-VDP-2 との主な違いは何か？
• RQ4 大規模チャレンジなどの課題に対して、メトリックを適応・キャリブレーションして HDR 動画品質評価に適用できるか？

主な発見

• HDR-VDP-3 は、ダイナミックレンジに依存しない品質評価の以前のモデルの現代的実装として、コントラスト歪み指標を導入する。
• モデルはコントラスト感度関数を再適合させ、年齢関連の眩光および局所適応成分を含む。
• HDR-VDP-3 は、品質（JOD）、並置可視化マップ、ちらつき、検出、civdm など複数のタスクをサポートし、それぞれ適切なデータセットでキャリブレーションされている。
• 本手法は WACV HDR Video Quality Measurement Grand Challenge 2023 への参加に適応され、ビデオ品質予測のために LIVE HDR フレームへ適用された。
• コードの改善には GPU アクセラレーションと Matlab および GNU Octave との互換性が含まれ、更新された例と再編成が行われている。