[論文レビュー] Assessing UHD Image Quality from Aesthetics, Distortions, and Saliency

Wei Sun, Weixia Zhang+7 more|arXiv (Cornell University)|Sep 1, 2024

Image and Video Quality Assessment被引用数 5

ひとこと要約

本論文は、グローバルな美的感覚、局所的な歪み、顕著な内容を評価する3枝のマルチブランチDNNを提案し、ダウンサンプル入力とSwin Transformerバックボーンを用いて計算コストを抑えつつ高精度を実現する。 この手法はUHD-IQAで最先端の結果を得て、MACsを大幅に削減し AIM 2024 UHD-IQA Challengeで優勝した。

ABSTRACT

UHD images, typically with resolutions equal to or higher than 4K, pose a significant challenge for efficient image quality assessment (IQA) algorithms, as adopting full-resolution images as inputs leads to overwhelming computational complexity and commonly used pre-processing methods like resizing or cropping may cause substantial loss of detail. To address this problem, we design a multi-branch deep neural network (DNN) to assess the quality of UHD images from three perspectives: global aesthetic characteristics, local technical distortions, and salient content perception. Specifically, aesthetic features are extracted from low-resolution images downsampled from the UHD ones, which lose high-frequency texture information but still preserve the global aesthetics characteristics. Technical distortions are measured using a fragment image composed of mini-patches cropped from UHD images based on the grid mini-patch sampling strategy. The salient content of UHD images is detected and cropped to extract quality-aware features from the salient regions. We adopt the Swin Transformer Tiny as the backbone networks to extract features from these three perspectives. The extracted features are concatenated and regressed into quality scores by a two-layer multi-layer perceptron (MLP) network. We employ the mean square error (MSE) loss to optimize prediction accuracy and the fidelity loss to optimize prediction monotonicity. Experimental results show that the proposed model achieves the best performance on the UHD-IQA dataset while maintaining the lowest computational complexity, demonstrating its effectiveness and efficiency. Moreover, the proposed model won first prize in ECCV AIM 2024 UHD-IQA Challenge. The code is available at https://github.com/sunwei925/UIQA.

研究の動機と目的

• フル解像度を直接処理せずに、UHD (4K+) 画像の効率的な品質評価を動機づける。
• 品質をグローバルな美的感覚、局所的な歪み、顕著なコンテンツに分解して計算量を削減する。
• 品質認識特徴を抽出するためのダウンサンプリング戦略とマルチブランチアーキテクチャを提案する。
• 低い計算コストでUHD-IQAにおける最先端の性能を実証する。

提案手法

• ダウンサンプルされたUHD画像から美的感覚を、グリッドミニパッチの断片から歪みを、中心クロップされたパッチから顕著性を抽出する3枝アーキテクチャ。
• 各枝にSwin Transformer Tinyバックボーンを用い、AVAで事前学習された品質認識特徴を抽出する。
• 枝特徴を結合し、2層のMLP（128 → 1）で回帰して品質スコアを生成する。
• 精度とランクの一貫性を最適化するため、MSEと忠実度損失の組み合わせで学習する。
• 前処理戦略：美的感覚のためにx_lをリサイズ、歪みのためにグリッドミニパッチからx_fを断片化、顕著性のために中心クロップされたx_sを使用。

実験結果

リサーチクエスチョン

• RQ1 美的感覚、歪み、顕著性に分解してフル解像度処理なしでUHD画像品質を正確に予測できるか？
• RQ2 ダウンサンプリングとパッチベース戦略は、信頼性の高いUHD IQAに十分な情報を保持しているか？
• RQ3 マルチブランチのSwin TransformerアプローチはUHD-IQAデータで精度と効率を向上させるか？
• RQ4 AVAでの事前学習とバックボーン選択がUHD-IQAの性能に与える影響はどれほどか？
• RQ5 提案手法は精度と計算量の点で、既存の最先端UHD IQA手法とどのように比較されるか？

主な発見

Methods	SRCC	PLCC	KRCC	RMSE	MAE	MACs (G)
HyperIQA	0.553	0.103	0.389	0.118	0.070	211
Effnet-2C-MLSP	0.615	0.627	0.445	0.060	0.050	345
CONTRIQUE	0.716	0.712	0.521	0.049	0.038	855
ARNIQA	0.718	0.717	0.523	0.050	0.039	855
CLIP-IQA+	0.743	0.732	0.546	0.108	0.087	895
QualiCLIP	0.757	0.752	0.557	0.079	0.064	901
Proposed	0.817	0.823	0.625	0.040	0.032	43.5

• 提案手法はUHD-IQAで比較対象手法の中で最良のSRCCを達成（検証時0.817、テスト時0.846）。
• テストセットでは、SRCC 0.846、PLCC 0.798、KRCC 0.657、RMSE 0.061、MAE 0.042、43.5G MACsを達成。
• 競合手法と比較して計算コスト（MACs）を顕著に削減（43.5 vs 211+ G MACs）。
• アブレーション研究は、歪みブランチが最も影響力が大きく、美的感覚と歪みの組み合わせが高性能を発揮することを示す。
• AVAでSwin-Tを事前学習し、より大きいバックボーン（Swin-B）を使用することは、ImageNet事前学習より性能をさらに向上させる。
• 提案されたダウンサンプルフレームワーク内で入力解像度を上げると性能が向上する（224→384→480）、ただしフルUHD解像度には遠く及ばない。