[論文レビュー] Blind Omnidirectional Image Quality Assessment with Viewport Oriented Graph Convolutional Networks

Jiahua Xu, Wei Zhou+1 more|arXiv (Cornell University)|Feb 21, 2020

Image and Video Quality Assessment参考文献 71被引用数 10

ひとこと要約

本稿では、視野角（viewport）に注目したグラフ畳み込みネットワーク（VGCN）を提案し、人間視覚系（HVS）の挙動を空間的グラフを用いて視野角間の相互作用を捉えることでモデル化し、グローバルな品質推定を統合する。この手法は、2つの公的OIQアセットメントベンチマークで最先端の性能を達成し、従来のフルリファレンスおよびノーリファレンス指標を上回っている。

ABSTRACT

Quality assessment of omnidirectional images has become increasingly urgent due to the rapid growth of virtual reality applications. Different from traditional 2D images and videos, omnidirectional contents can provide consumers with freely changeable viewports and a larger field of view covering the $360^{\circ} imes180^{\circ}$ spherical surface, which makes the objective quality assessment of omnidirectional images more challenging. In this paper, motivated by the characteristics of the human vision system (HVS) and the viewing process of omnidirectional contents, we propose a novel Viewport oriented Graph Convolution Network (VGCN) for blind omnidirectional image quality assessment (IQA). Generally, observers tend to give the subjective rating of a 360-degree image after passing and aggregating different viewports information when browsing the spherical scenery. Therefore, in order to model the mutual dependency of viewports in the omnidirectional image, we build a spatial viewport graph. Specifically, the graph nodes are first defined with selected viewports with higher probabilities to be seen, which is inspired by the HVS that human beings are more sensitive to structural information. Then, these nodes are connected by spatial relations to capture interactions among them. Finally, reasoning on the proposed graph is performed via graph convolutional networks. Moreover, we simultaneously obtain global quality using the entire omnidirectional image without viewport sampling to boost the performance according to the viewing experience. Experimental results demonstrate that our proposed model outperforms state-of-the-art full-reference and no-reference IQA metrics on two public omnidirectional IQA databases.

研究の動機と目的

• 実際のVRアプリケーションにおいて参照画像が存在しないという課題に起因する、ブラインド・オムニディレクショナル画像品質評価（OIQA）の課題に対処すること。
• 観察者が局所的な視野角品質を統合し、グローバルな品質知覚を再構築する人間視覚系（HVS）の視認行動をモデル化すること。
• 空間的グラフを用いたグラフ畳み込みネットワーク（GCNs）により、視野角間の相互依存関係を捉えることで、品質予測を向上させること。
• 局所的（視野角レベル）およびグローバル的（全体画像）な品質推定ブランチを統合することで、性能を向上させること。
• さまざまな歪みタイプに一般化可能な、汎用的で歪みに依存しないOIQAフレームワークを構築すること。

提案手法

• 本手法は、HVSが構造的情報に敏感であることに基づき、高い確率で視認される視野角をノードとする空間的視野角グラフを構築する。
• ノード間のエッジは、空間的関係（例：角度的近接性）によって定義され、視野角間の相互作用をモデル化する。
• グラフ畳み込みネットワーク（GCNs）を用いて視野角グラフ上で推論を行い、局所的品質特徴を統合するとともに、依存関係を捉える。
• 視野角記述子が、CNNバックボーンを用いて各選択された視野角から判別性の高い特徴を抽出する。
• 局所ブランチはGCNを用いて視野角品質を統合するが、グローバルブランチは視野角サンプリングなしで、全体のオムニディレクショナル画像を用いて品質を推定する。
• コンテンツおよび位置に基づく重み付けを視野角特徴に適用し、チャネルアテンションと緯度ベース要因を用いて品質統合を最適化する。

実験結果

リサーチクエスチョン

• RQ1 オムニディレクショナル画像品質評価において、人間視覚系の視野角ベースの閲覧行動と品質統合プロセスをどのようにモデル化できるか？
• RQ2 グラフ畳み込みネットワークは、視野角間の相互依存関係を効果的に捉えることができ、ブラインドOIQAの性能向上に寄与するか？
• RQ3 局所的視野角分析に加えてグローバル品質推定を統合することで、全体的な知覚的品質予測性能が向上するか？
• RQ4 コンテンツに依存するおよび位置に依存する重み付け戦略は、視野角品質統合の性能にどのように影響するか？
• RQ5 提案されたVGCNフレームワークは、オムニディレクショナル画像における多様な歪みタイプに一般化可能か？

主な発見

• VGCNモデルは、OIQAデータベースでPLCC 0.9584、SROCC 0.9515を達成し、CVIQDデータベースでPLCC 0.9651、SROCC 0.9639を達成しており、最先端の手法を上回っている。
• 視野角品質統合にグラフ畳み込みネットワークを用いることで、顕著な性能向上が得られ、全結合ベースラインと比較してRMSEがOIQAで0.5967、CVIQDで3.6573に低下した。
• グローバル品質推定ブランチの導入により、局所のみのブランチよりも性能が向上し、OIQAではRMSEが0.6340から0.5967に、CVIQDでは3.9220から3.6573に低下した。
• コンテンツおよび位置の重み付けは性能を中程度に向上させるが、GCNベースの統合が最大の向上をもたらし、視野角間の相互作用をモデル化することの重要性を示している。
• 可視化結果から、VGCNは歪みが強い領域（例：ノイズやぼやけが生じた滑らかな領域）を正しく特定し、それに応じて低い品質スコアを割り当てていることが確認された。
• モデルはJPEGアーチファクトやホワイトノイズなどの歪みタイプを効果的に区別できており、テクスチャのある領域における知覚的マスキングを反映した品質スコアを出力している。