[論文レビュー] No-Reference Color Image Quality Assessment: From Entropy to Perceptual Quality

Xiaoqiao Chen, Qingyi Zhang+3 more|arXiv (Cornell University)|Dec 27, 2018

Image and Video Quality Assessment参考文献 48被引用数 9

ひとこと要約

本稿では、空間領域および周波数領域における画像エントロピーと相互情報量を活用して特徴を抽出する一般化可能な参照なし画像品質評価手法ENIQAを提案する。サポートベクタ分類および回帰を用いることで、LIVEおよびTID2013データベースにおいて最先端の性能を達成し、主観的評価と高い一貫性を示し、歪みの種類やデータベースにわたる強力な一般化性能を示している。

ABSTRACT

This paper presents a high-performance general-purpose no-reference (NR) image quality assessment (IQA) method based on image entropy. The image features are extracted from two domains. In the spatial domain, the mutual information between the color channels and the two-dimensional entropy are calculated. In the frequency domain, the two-dimensional entropy and the mutual information of the filtered sub-band images are computed as the feature set of the input color image. Then, with all the extracted features, the support vector classifier (SVC) for distortion classification and support vector regression (SVR) are utilized for the quality prediction, to obtain the final quality assessment score. The proposed method, which we call entropy-based no-reference image quality assessment (ENIQA), can assess the quality of different categories of distorted images, and has a low complexity. The proposed ENIQA method was assessed on the LIVE and TID2013 databases and showed a superior performance. The experimental results confirmed that the proposed ENIQA method has a high consistency of objective and subjective assessment on color images, which indicates the good overall performance and generalization ability of ENIQA. The source code is available on github https://github.com/jacob6/ENIQA.

研究の動機と目的

• 参照画像を必要としない汎用的な参照なし画像品質評価（IQA）手法の開発を目的とする。
• 空間領域および周波数領域における画像エントロピーと相互情報量を活用することで、IQAの精度とロバスト性を向上させることを目的とする。
• 多様な歪みの種類にわたって、客観的スコアと主観的人間評価との間の高い一貫性を確保することを目的とする。
• 既存のNR-IQA手法と比較して優れた性能を維持しつつ、低計算複雑性を実現することを目的とする。
• LIVEおよびTID2013データベースを用いたクロスデータベーステストを通じて、モデルの一般化能力を検証することを目的とする。

提案手法

• 空間領域において、色成分からの2次元エントロピー（TE）および相互情報量（MI）を抽出する。
• log-Gaborフィルタリングを適用して画像をサブバンドに分解し、周波数領域における各フィルタドサブバンドに対してTEおよびMIを計算する。
• 空間領域および周波数領域の特徴を統合し、画像表現用の統一された特徴ベクトルを構築する。
• サポートベクタ分類器（SVC）を用いて画像歪みの種別を分類し、サポートベクタ回帰（SVR）を用いて最終的な品質スコアを予測する。
• モデルをLIVEデータベースで学習し、交差検証およびクロスデータベーステストを用いてLIVEおよびTID2013データベースで評価する。
• 構造的特徴（エントロピーおよびMI）と視覚的関連性を組み合わせるためのサリエンシーに配慮したフィルタリングを用いたハイブリッド特徴抽出戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 エントロピーと相互情報量にのみ依存する参照なしIQA手法が、参照画像を一切必要とせずに高い精度を達成できるか。
• RQ2 JPEG、JP2K、ノイズ、ぼかしなどの異なる種類の画像歪みにわたって、提案手法の一般化性能はどの程度高いか。
• RQ3 空間領域および周波数領域の特徴を統合することで、客観的スコアと主観的MOSとの間の一貫性はどの程度向上するか。
• RQ4 標準ベンチマークデータベース上で、提案手法は最先端のFRおよびNR-IQA手法と比較してどの程度の性能を示すか。
• RQ5 LIVEデータベースで学習したモデルが、再学習なしにTID2013データベースに効果的に一般化できるか。

主な発見

• TID2013データベースにおいて、ENIQAはスピアマン順位相関係数（SROCC）0.8973およびピアソン線形相関係数（PLCC）0.9009を達成し、テストされたすべてのNR-IQA手法を上回った。
• LIVEデータベースでは、SROCCが0.9244、PLCCが0.9140に達し、主観的MOSスコアと強い整合性を示した。
• モデルは高い一般化能力を示し、LIVEで学習しTID2013でテストした場合でも、SROCCが0.8973、RMSEが0.6067という競争力ある性能を維持した。
• 5種類の歪みタイプの分類精度は平均71.27%であり、白色ノイズ（WN）で最高の82.58%を記録し、JPEGおよびJP2Kに対しても良好な性能を示した。
• 散布図では、予測スコアがDMOS/MOSと均等に分布しており、強い線形相関関係を示しており、ロバスト性と一貫性が確認された。
• LIVEおよびTID2013の両データベースにおいて、BRISQUE、NIQEその他の最先端NR-IQA手法を上回ったが、特にクロスデータベース評価において顕著な優位性を示した。