[論文レビュー] No-Reference Quality Assessment for 360-degree Images by Analysis of Multi-frequency Information and Local-global Naturalness

Wei Zhou, Jiahua Xu+2 more|arXiv (Cornell University)|Feb 22, 2021

Image and Video Quality Assessment参考文献 55被引用数 6

ひとこと要約

本稿では、360度画像のノンレファレンス品質評価手法であるMFILGNを提案する。この手法は、離散ハールウェーブレット変換を用いて多頻周情報と、ビューポートおよび等角投影からの局所的・全体的自然性特徴を統合する。2つの公的データベースで評価された結果、MFILGNはSROCCが最大0.9751、RMSEが最小1.3864に達し、既存のフルレファレンスおよびノンレファレンス手法を上回る最先端の性能を達成した。

ABSTRACT

360-degree/omnidirectional images (OIs) have achieved remarkable attentions due to the increasing applications of virtual reality (VR). Compared to conventional 2D images, OIs can provide more immersive experience to consumers, benefitting from the higher resolution and plentiful field of views (FoVs). Moreover, observing OIs is usually in the head mounted display (HMD) without references. Therefore, an efficient blind quality assessment method, which is specifically designed for 360-degree images, is urgently desired. In this paper, motivated by the characteristics of the human visual system (HVS) and the viewing process of VR visual contents, we propose a novel and effective no-reference omnidirectional image quality assessment (NR OIQA) algorithm by Multi-Frequency Information and Local-Global Naturalness (MFILGN). Specifically, inspired by the frequency-dependent property of visual cortex, we first decompose the projected equirectangular projection (ERP) maps into wavelet subbands. Then, the entropy intensities of low and high frequency subbands are exploited to measure the multi-frequency information of OIs. Besides, except for considering the global naturalness of ERP maps, owing to the browsed FoVs, we extract the natural scene statistics features from each viewport image as the measure of local naturalness. With the proposed multi-frequency information measurement and local-global naturalness measurement, we utilize support vector regression as the final image quality regressor to train the quality evaluation model from visual quality-related features to human ratings. To our knowledge, the proposed model is the first no-reference quality assessment method for 360-degreee images that combines multi-frequency information and image naturalness. Experimental results on two publicly available OIQA databases demonstrate that our proposed MFILGN outperforms state-of-the-art approaches.

研究の動機と目的

• バーチャルリアリティ応用における360度画像に特化した有効なノンレファレンス品質評価手法の不足に対処すること。
• 人間視覚系（HVS）の特性とヘッドマウントディスプレイ（HMD）での一般的な視認行動を反映するブレインド品質評価モデルの開発。
• 全体的および局所的（ビューポートレベル）の両方の視点から得られる多頻周情報と自然画像統計（NSS）特徴を統合することで、品質予測精度の向上。
• 提案手法の汎用性が、多様な歪みタイプおよびデータベースに対してどのように保証されるかの検証。
• 今後のパrametricモデルの構築およびオムニディレクショナル動画品質評価への応用の基盤を確立すること。

提案手法

• 本手法は、360度画像の等角投影（ERP）マップを離散ハールウェーブレット変換（DHWT）を用いて低周波帯と高周波帯に分解する。
• ウェーブレットサブバンドのエントロピー強度を計算し、人間の視覚皮質の周波数依存感受性を反映する多頻周情報の定量的評価を実施する。
• 自然画像統計（NSS）を用いて、HMDでの相互作用時のユーザーの実際の視野（フィールドオブビュー）をモデル化した複数のビューポートから局所的自然性特徴を抽出する。
• 全体のERPマップから全体的自然性特徴を計算し、画像全体の構造と統計的性質を捉える。
• 多頻周情報と局所的・全体的自然性特徴を統合し、その特徴をサポートベクターレグレッション（SVR）モデルに投入して主観的品質スコアを予測する。
• 本モデルは、公的OIQAデータベースのヒューマンオピニオンスコア（MOS）を用いて学習され、クロスデータベーステストおよび統計的有意性分析により検証された。

実験結果

リサーチクエスチョン

• RQ1 360度画像における多頻周情報は、どのように効果的に測定可能か、それが知覚的品質を反映できるか？
• RQ2 局所的（ビューポートレベル）および全体的（ERPレベル）の自然性特徴は、ノンレファレンス品質評価にどの程度寄与するか？
• RQ3 多頻周情報と局所的・全体的自然性特徴の統合は、360度画像の既存のノンレファレンスおよびフルレファレンスIQA手法を上回る性能を達成できるか？
• RQ4 提案されたMFILGNモデルは、異なる歪みタイプおよびデータベースに対してどれほど汎用性を示すか？
• RQ5 本手法は、繰り返し行われるランダムなデータベース分割に対して一貫性があり、安定した性能を示すか？

主な発見

• OIQAデータベースにおいて、MFILGNはスピアマン順位相関係数（SROCC）が0.9751、平均二乗誤差（RMSE）が1.3864に達し、最先端の手法を上回った。
• CVIQDデータベースでは、SROCCが0.9695、RMSEが3.1036に達し、品質予測の高精度を示した。
• 多頻周情報の導入により、OIQAデータベースにおけるSROCCは0.9495から0.9614に向上し、補助的特徴としての有効性が確認された。
• 局所的自然性特徴のみを用いた場合が、個々の特徴量の中で最高の性能を示し、品質評価におけるビューポートレベルの視認行動の重要性を強調した。
• 1,000回のランダムなデータベース分割における統計的分析から、MFILGNはBRISQUEおよびBMPRIよりも高い平均SROCCおよびPLCC値に加え、標準偏差が低く、優れた一貫性を示した。
• クロスデータベーステストでは、CVIQDで学習したMFILGNがOIQAデータベースに適応した際、SROCCが0.7589、RMSEが1.3864に達し、MC360IQAベースラインを上回った。