[論文レビュー] Bridge the Gap Between VQA and Human Behavior on Omnidirectional Video: A Large-Scale Dataset and a Deep Learning Model

Chen Li, Mai Xu+2 more|arXiv (Cornell University)|Jul 29, 2018

Image and Video Quality Assessment参考文献 40被引用数 9

ひとこと要約

本稿では、観察者の頭部運動（HM）および眼球運動（EM）データと併せて主観的品質スコアを組み合わせた大規模な全方向動画データセット、VQA-OVを紹介する。本稿では、HMおよびEMマップを統合する深層学習モデルを提案し、客観的視覚品質評価を向上させ、真値行動データを用いてPCC 0.81およびSRCC 0.83の最先端性能を達成した。これは、人間の行動が主観的動画品質に顕著な影響を与えることを示している。

ABSTRACT

Omnidirectional video enables spherical stimuli with the $360 imes 180^ \circ$ viewing range. Meanwhile, only the viewport region of omnidirectional video can be seen by the observer through head movement (HM), and an even smaller region within the viewport can be clearly perceived through eye movement (EM). Thus, the subjective quality of omnidirectional video may be correlated with HM and EM of human behavior. To fill in the gap between subjective quality and human behavior, this paper proposes a large-scale visual quality assessment (VQA) dataset of omnidirectional video, called VQA-OV, which collects 60 reference sequences and 540 impaired sequences. Our VQA-OV dataset provides not only the subjective quality scores of sequences but also the HM and EM data of subjects. By mining our dataset, we find that the subjective quality of omnidirectional video is indeed related to HM and EM. Hence, we develop a deep learning model, which embeds HM and EM, for objective VQA on omnidirectional video. Experimental results show that our model significantly improves the state-of-the-art performance of VQA on omnidirectional video.

研究の動機と目的

• 全方向動画の主観的視覚品質評価（VQA）と人間の行動の間のギャップを埋める。
• 主観的品質スコアに加えて、観察者の頭部運動（HM）および眼球運動（EM）データを含む大規模データセットを収集する。
• 全方向動画における人間の行動パターン（HMおよびEM）と主観的視覚品質との相関を調査する。
• HMおよびEMデータを統合した深層学習ベースの客観的VQAモデルを開発し、予測精度を向上させる。
• 人間の行動をモデル化することで、全方向動画における客観的VQAの性能が向上することを実証する。

提案手法

• 著者らは、60本のリファレンスおよび540本の劣化した全方向動画シーケンスを含むVQA-OVデータセットを構築した。このデータセットには、被験者から収集された主観的DMOSスコア、HM、およびEMデータが含まれている。
• データセットには、多様なコンテンツ、長さ、解像度、および圧縮やマップ投影による劣化を含む。
• 動画フレームと、予測値または真値のHMおよびEMマップを入力として受け取り、客観的品質スコアを推定する深層学習モデルを提案した。
• モデルは、DeepQA (Kim and Lee, 2017a) から変更を加えた畳み込みニューラルネットワーク（CNN）アーキテクチャを採用し、HMおよびEMマップを追加の入力チャネルとして統合した。
• 実用的導入のため、HMおよびEMマップは既存のモデル（Xu et al., 2018; Pan et al., 2017）を用いて予測されたが、アブレーションスタディでは真値マップが使用された。
• 性能評価には、標準的な指標（PCC、SRCC、RMSE、MAE）が用いられ、客観的スコアと主観的スコアの整合性を図るために非線形回帰が適用された。

実験結果

リサーチクエスチョン

• RQ1 全方向動画の主観的視覚品質は、頭部運動（HM）および眼球運動（EM）行動とどのように相関しているか？
• RQ2 HMおよびEMデータを深層学習モデルに統合することで、全方向動画の客観的VQAの精度が向上するか？
• RQ3 人間の行動を無視する最先端の手法と比較して、行動に配慮したVQAモデルはどの程度の性能向上を達成するか？
• RQ4 HMおよびEMの予測精度が、最終的な客観的VQA性能にどのように影響するか？
• RQ5 真値HMおよびEMデータを用いた場合、行動に配慮したVQAモデルの上限性能はどの程度か？

主な発見

• 提案された深層学習モデルは、予測されたHMおよびEMマップを用いた場合、既存の最先端手法を顕著に上回り、PCC 0.77およびSRCC 0.80を達成した。
• 真値HMおよびEMマップを用いた場合、PCC 0.81およびSRCC 0.83を達成し、アプローチの上限性能を示した。
• ベースラインのDeepQAモデル（画像特徴のみを用いる）と比較して、RMSEを1.20、MAEを0.95低減した。
• 結果は、主観的VQAスコアと観察者の行動（特にHMおよびEM）との間に強い相関があることを確認し、人間の知覚をモデル化することが重要であることを裏付けた。
• アブレーションスタディの結果、予測値ではなく真値のHMおよびEMマップを用いることで性能が向上し、予測精度がモデル性能の鍵要因であることが示された。
• 客観的スコアと主観的スコアの散布図では、提案モデルが回帰直線の周囲により密な分布を示しており、人間の知覚とより良好に一致していることが示された。