[論文レビュー] A Probabilistic Quality Representation Approach to Deep Blind Image Quality Prediction

Hui Zeng, Lei Zhang+1 more|arXiv (Cornell University)|Aug 28, 2017

Image and Video Quality Assessment参考文献 41被引用数 61

ひとこと要約

要約: 主観的画像品質の分布をモデル化する確率的品質表現（PQR）を導入し、ロバストな深層BIQA学習とスカラー値回帰よりも高い精度を実現します。アンカー、ソフトマッピング、KL発散損失を用いてCNNをPQRターゲットで訓練し、スカラー値スコアへマッピングします。

ABSTRACT

Blind image quality assessment (BIQA) remains a very challenging problem due to the unavailability of a reference image. Deep learning based BIQA methods have been attracting increasing attention in recent years, yet it remains a difficult task to train a robust deep BIQA model because of the very limited number of training samples with human subjective scores. Most existing methods learn a regression network to minimize the prediction error of a scalar image quality score. However, such a scheme ignores the fact that an image will receive divergent subjective scores from different subjects, which cannot be adequately represented by a single scalar number. This is particularly true on complex, real-world distorted images. Moreover, images may broadly differ in their distributions of assigned subjective scores. Recognizing this, we propose a new representation of perceptual image quality, called probabilistic quality representation (PQR), to describe the image subjective score distribution, whereby a more robust loss function can be employed to train a deep BIQA model. The proposed PQR method is shown to not only speed up the convergence of deep model training, but to also greatly improve the achievable level of quality prediction accuracy relative to scalar quality score regression methods. The source code is available at https://github.com/HuiZeng/BIQA_Toolbox.

研究の動機と目的

• 盲検査IQAにおいて単一スカラー値を超える画像品質のより豊かな表現の必要性を動機づける。
• 品質の分布をアンカーと確率的マッピングを用いて表現するPQRを提案する。
• KL発散（ソフトマックス交差エントロピー）を用いてPQRベクトルを出力するCNNの学習戦略を開発する。
• PQRが収束を速め、複数のIQAデータベースで予測精度を向上させることを実証する。

提案手法

• スコア範囲内にM個の品質アンカーを定義する（均等分布または Lloyd-Max量子化）。
• 各画像 MOS y をソフトマッピングによりPQRベクトル q に変換する： q^m = exp(-β||y-c^m||^2)/sum_i exp(-β||y-c^i||^2)。
• PQRを再度スカラー値スコアへマッピングする逆変換 h(q) を学習データの二乗誤差を最小化して求める。
• ターゲット q とネットワーク出力とのKL発散（ソフトマックス出力を用いた交差エントロピー）を最小化してPQRベクトルを出力するCNNを学習する。
• パッチレベルの予測をプーリング（平均プーリング）して全画像品質スコアを得る。
• 事前学習済みのAlexNetとResNet50（ファインチューニング）およびパッチベース入力の浅いS-CNNで実験する。

実験結果

リサーチクエスチョン

• RQ1 確率的でアンカーベースの perceptual 画像品質表現は、単なるスカラー回帰と比較して深いBIQAにおける学習の安定性と精度を向上させるか。
• RQ2 アンカーおよび平滑化パラメータβはどのように選択すべきか、PQRは実データの歪みと合成歪み、複数データベースでどのように性能を発揮するか。
• RQ3 PQRを用いることはCNNアーキテクチャ間で収束速度と最終予測性能にどのような影響を与えるか。
• RQ4 PQRからスカラーMOSを回復する逆写像h(·)の有効性はどの程度か。
• RQ5 パッチベースのPQR学習と平均プーリングは、従来のスカラー回帰BIQA法と比べて競争力があるか、または優れるか。

主な発見

データベース	CNN モデル	方法	SRCC	PLCC
LIVE Challenge	AlexNet	SQR	0.7658	0.8074
LIVE Challenge	AlexNet	PQR	0.8075	0.8357
LIVE Challenge	ResNet50	SQR	0.8236	0.8680
LIVE Challenge	ResNet50	PQR	0.8568	0.8822
LIVE IQA	AlexNet	SQR	0.9319	0.9462
LIVE IQA	AlexNet	PQR	0.9554	0.9638
LIVE IQA	ResNet50	SQR	0.9468	0.9527
LIVE IQA	ResNet50	PQR	0.9653	0.9714
CSIQ	AlexNet	SQR	0.8713	0.8958
CSIQ	AlexNet	PQR	0.8713?	0.8958?
CSIQ	ResNet50	SQR	0. ?	0. ?
CSIQ	ResNet50	PQR	0. ?	0. ?
TID2013	AlexNet	SQR	0.5362	0.6136
TID2013	AlexNet	PQR	0.5742	0.6687
TID2013	ResNet50	SQR	0.6406	0.7068
TID2013	ResNet50	PQR	0.7399	0.7980

• PQRベースのモデルは、データセット（LIVE Challenge, LIVE IQA, CSIQ, TID2013）全体でSRCCとPLCCの点でスカラー回帰ベースを一貫して上回る。
• β = 64 の場合、データベース全体で堅牢な性能を発揮し、アンカー密度 M に対してPQRは比較的頑健（M = 5 が一般的に効果的）。
• AlexNetおよびResNet50をPQRで使用すると、すべての報告データベース（LIVE Challenge, LIVE IQA, CSIQ, TID2013）でSQRと比較してSRCC/PLCCが高い。
• PQRはより豊かな監督信号とKL発散ベースの損失により、収束を速め、一般化性能を向上させる。
• PQRからスカラーMOSへ戻す逆写像h(q)は、βとMの適切な選択で MOSスケール[0,1]の平均誤差が0.01未満と高精度である。