[論文レビュー] Visual Quality Assessment of Panoramic Video

Mai Xu, Chen Li+2 more|arXiv (Cornell University)|Sep 19, 2017

Image and Video Quality Assessment参考文献 22被引用数 5

ひとこと要約

本稿では、新しいデータベースから得られた視線方向データを活用して人間の知覚をモデル化し、オムニディレクショナル動画のための新規の主観的および客観的視覚品質評価（VQA）手法を提案する。主観的評価のためのO-DMOSおよびV-DMOSを導入するとともに、前方領域または予測された視線方向に基づいて歪みに重みを付ける2つの客観的VQA手法を提案し、最先端の性能を顕著に向上させた。

ABSTRACT

In contrast with traditional video, omnidirectional video enables spherical viewing direction with support for head-mounted displays, providing an interactive and immersive experience. Unfortunately, to the best of our knowledge, there are few visual quality assessment (VQA) methods, either subjective or objective, for omnidirectional video coding. This paper proposes both subjective and objective methods for assessing quality loss in encoding omnidirectional video. Specifically, we first present a new database, which includes the viewing direction data from several subjects watching omnidirectional video sequences. Then, from our database, we find a high consistency in viewing directions across different subjects. The viewing directions are normally distributed in the center of the front regions, but they sometimes fall into other regions, related to video content. Given this finding, we present a subjective VQA method for measuring difference mean opinion score (DMOS) of the whole and regional omnidirectional video, in terms of overall DMOS (O-DMOS) and vectorized DMOS (V-DMOS), respectively. Moreover, we propose two objective VQA methods for encoded omnidirectional video, in light of human perception characteristics of omnidirectional video. One method weighs the distortion of pixels with regard to their distances to the center of front regions, which considers human preference in a panorama. The other method predicts viewing directions according to video content, and then the predicted viewing directions are leveraged to allocate weights to the distortion of each pixel in our objective VQA method. Finally, our experimental results verify that both the subjective and objective methods proposed in this paper advance state-of-the-art VQA for omnidirectional video.

研究の動機と目的

• オムニディレクショナル動画における包括的な視覚品質評価手法の不足に取り組むこと、特に主観的および客観的評価フレームワークにおいて。
• 複数の被験者から得た視線方向データを収集・分析することで、オムニディレクショナル動画における人間の視線行動を調査すること。
• 視線パターンに基づいて全体的および領域的品質差を考慮する、O-DMOSおよびV-DMOSという主観的品質評価指標を開発すること。
• パノラマビューにおける空間的関連性に応じて歪みに重みを付けることで、人間の知覚を反映する客観的VQA手法を設計すること。
• 提案手法を最先端の手法と比較して評価・検証し、品質予測精度の向上を示すこと。

提案手法

• 複数の被験者がオムニディレクショナル動画を視聴する際の視線方向データを含む、新しい主観的VQAデータベースを構築した。
• 視線方向が前方領域に集中しており、正規分布に従うことが判明したが、動画の内容に応じて変動することを明らかにした。これにより、知覚に基づく指標の設計が可能になった。
• O-DMOSおよびV-DMOSを主観的品質指標として提案した：O-DMOSは全体的品質を、V-DMOSは視線方向のクラスタに基づく領域的品質を評価する。
• 前方領域の中心からの距離に応じてピクセル単位の歪みに重みを付ける客観的VQA手法を開発した。これにより、人間の視覚的好みを反映した。
• 動画コンテンツから視線方向を予測し、その予測結果を用いてパノラマ全体にわたり歪みに動的重みを付ける第二の客観的VQA手法を設計した。
• 球面動画における空間的注意と視覚感受性をモデル化することで、両方の客観的手法に人間の知覚特性を統合した。

実験結果

リサーチクエスチョン

• RQ1 視聴者の視線方向はオムニディレクショナル動画シーケンス全体でどのように分布しているのか。被験者間で一貫したパターンが存在するか。
• RQ2 視線方向データは、パノラマ動画の主観的視覚品質評価の精度をどの程度向上させ得るか。
• RQ3 オムニディレクショナル動画における歪みを、人間の品質知覚を反映させるために、どのようにより効果的に重み付けできるか。
• RQ4 動画コンテンツに基づく視線方向予測は、固定された空間的重み付けと比較して、客観的VQA性能を向上させ得るか。
• RQ5 提案された主観的および客観的VQA手法は、既存の最先端手法と比較して品質評価の精度において優れているか。

主な発見

• 被験者間で視線方向は非常に一貫しており、主に前方領域に集中しており、前方視線の中心を中心に正規分布に従う。
• 提案されたO-DMOSおよびV-DMOS指標は、人間の知覚と強い相関を示し、全体的および領域的品質差を効果的に捉えている。
• 前方領域中心からの距離に応じて歪みに重みを付ける客観的VQA手法は、ベースライン手法と比較して品質予測精度を向上させた。
• 視線方向を動画コンテンツから予測し、その予測結果を用いて歪みに重みを付けるコンテンツに適応した客観的VQA手法は、固定重み付け方式と比較して優れた性能を示した。
• 実験結果から、提案された主観的および客観的VQA手法が、オムニディレクショナル動画品質評価分野における最先端技術を一歩進めたことが確認された。