[論文レビュー] Perceptual Quality Assessment of Immersive Images Considering Peripheral Vision Impact

Peiyao Guo, Qiu Shen+3 more|arXiv (Cornell University)|Feb 25, 2018

Image and Video Quality Assessment参考文献 26被引用数 11

ひとこと要約

本論文は、中心視野、近傍周辺視野、遠方周辺視野の各領域における品質割り当ての非一様性を考慮し、eccentricity（中心からのずれ角）、量子化ステップサイズ（q）、空間分解能（s）を関数として画像品質の劣化をモデル化することで、没入型VR画像の知覚的品質モデルを提案する。一般化ガウス関数を用いることで、中心視野、近傍周辺視野、遠方周辺視野の各領域に非一様な品質割り当てが可能となり、データサイズを最大90%まで削減し、リアルタイムギガピクセルレンダリングにおいて品質の著しい低下を伴わずにレンダリング速度を10倍に向上させる。

ABSTRACT

Conventional images/videos are often rendered within the central vision area of the human visual system (HVS) with uniform quality. Recent virtual reality (VR) device with head mounted display (HMD) extends the field of view (FoV) significantly to include both central and peripheral vision areas. It exhibits the unequal image quality sensation among these areas because of the non-uniform distribution of photoreceptors on our retina. We propose to study the sensation impact on the image subjective quality with respect to the eccentric angle $θ$ across different vision areas. Often times, image quality is controlled by the quantization stepsize $q$ and spatial resolution $s$, separately and jointly. Therefore, the sensation impact can be understood by exploring the $q$ and/or $s$ in terms of the $θ$, resulting in self-adaptive analytical models that have shown quite impressive accuracy through independent cross validations. These models can further be applied to give different quality weights at different regions, so as to significantly reduce the transmission data size but without subjective quality loss. As demonstrated in a gigapixel imaging system, we have shown that the image rendering can be speed up about 10$ imes$ with the model guided unequal quality scales, in comparison to the the legacy scheme with uniform quality scales everywhere.

研究の動機と目的

• 没入型VR環境における周辺視野の影響が、主観的画像品質にどのように及ぶかを調査すること。
• 網膜における光受容体の非一様分布に起因する、eccentricity（θ）が知覚的品質劣化に与える影響をモデル化すること。
• 量子化ステップサイズ（q）と空間分解能（s）が、異なる視野領域における知覚的品質に与える影響を定量化する閉形式の解析的モデルを開発すること。
• 主観的品質を保持しつつデータサイズを削減できるように、没入型画像における非一様な品質割り当てを可能にすること。
• リアルタイムギガピクセル画像処理システムにおいてモデルを検証し、レンダリング速度向上の実証を行うこと。

提案手法

• 著者らは、eccentricity（θ）、量子化ステップサイズ（q）、空間分解能（s）を変数として、統一的なパラメトリックな一般化ガウス関数を用いて知覚的品質を関数としてモデル化する。
• コンテンツから抽出した画像特徴量をもとにパラメータを推定することで、視野領域ごとの品質知覚を予測する解析的モデルを導出する。
• 主観的品質評価を用いてモデルを訓練および交差検証し、人間の知覚を正確に予測できるようにする。
• 中心視野（CVA）、近傍周辺視野（NPA）、遠方周辺視野（FPA）の3つの視野領域にわたり、非一様な品質スケーリングを適用し、CVAでは高い品質、周辺領域では品質を低く抑える。
• qとsを各領域ごとに調整することで、データサイズを最小限に抑えつつ、知覚的品質を保持する適応的ビット割り当てを実現する。
• タイリングと非一様な品質割り当てを用いたリアルタイムギガピクセル画像処理システムを用いて、均一な品質基準との比較を通じて、本手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 没入型VRディスプレイにおける、中心視野、近傍周辺視野、遠方周辺視野の各eccentricity領域で、画像品質の知覚はどのように変化するか？
• RQ2 量子化ステップサイズ（q）と空間分解能（s）が、さまざまなeccentricityで知覚的画像品質に与える統合的影響は何か？
• RQ3 qとsを根拠に、閉形式の解析的モデルが周辺視野領域における主観的品質劣化を正確に予測できるか？
• RQ4 視野領域に応じた非一様な品質割り当てによって、認識可能な品質損失を伴わずに、どの程度データサイズを削減できるか？
• RQ5 リアルタイムギガピクセル画像処理システムに本モデルを適用した場合、レンダリング速度はどの程度向上するか？

主な発見

• 提案モデルは、独立した交差検証を経て、さまざまなeccentricity領域における主観的画像品質の予測において高い正確性を達成した。
• モデル誘導による非一様な品質割り当てにより、均一な品質レンダリングと比較して、平均で最大90.18%のデータサイズ削減が達成された。
• リアルタイムギガピクセル画像処理システムにおいて、レンダリングスループットが約10倍向上した。
• 滑らかなコンテンツ（例：空）を含むシーンでは、最大20倍の高速化が観察されたが、複雑なテクスチャ（例：草地）を含むシーンでは、低下は見られたものの依然として顕著な向上が得られた。
• ユーザーは、周辺視野における均一な品質割り当てと非一様な品質割り当ての間に、いかなる差異も認識できず、モデルの知覚的妥当性が裏付けられた。
• モデルの性能はコンテンツに依存し、空間的変動が小さいシーン（構造的インデックスSIが低い）では、より高いデータ削減率と高速化が得られ、逆に高複雑度のテクスチャでは、その恩恵がやや低減した。