[論文レビュー] Perceptual Evaluation on Audio-visual Dataset of 360 Content

Randy Frans Fela, Andréas Pastor+4 more|arXiv (Cornell University)|May 16, 2022

Image and Video Quality Assessment被引用数 4

ひとこと要約

本稿では、8K等角投影映像（7680×3840、30fps）と4次アンビソンクス音声（B形式、25チャンネル）に加え、音声、映像、音声映像のテストにおける主観的品質スコアを含む、新規のオープンソース360°オーバーラップメディアデータセットを提示する。このデータセットにより、知覚的品質の堅牢な評価が可能となり、結果としてVMAF 4KとViSQOL aswbが主観的スコアとの相関において、他の客観的品質指標を上回ることが示された。

ABSTRACT

To open up new possibilities to assess the multimodal perceptual quality of omnidirectional media formats, we proposed a novel open source 360 audiovisual (AV) quality dataset. The dataset consists of high-quality 360 video clips in equirectangular (ERP) format and higher-order ambisonic (4th order) along with the subjective scores. Three subjective quality experiments were conducted for audio, video, and AV with the procedures detailed in this paper. Using the data from subjective tests, we demonstrated that this dataset can be used to quantify perceived audio, video, and audiovisual quality. The diversity and discriminability of subjective scores were also analyzed. Finally, we investigated how our dataset correlates with various objective quality metrics of audio and video. Evidence from the results of this study implies that the proposed dataset can benefit future studies on multimodal quality evaluation of 360 content.

研究の動機と目的

• インマージブル360°オーディオビジョナルコンテンツ向けに、高品質でマルチモーダルかつ主観的品質評価を含むデータセットが不足している現状を是正すること。
• 360°映像と高次アンビソンクス音声の制御された高精細録音を備えたベンチマークデータセットを確立すること。
• 音声、映像、音声映像の各モダリティにおける主観的品質スコアの識別力と信頼性を評価すること。
• 既存の客観的品質指標が360°AVコンテンツにおける人間の知覚をどれほど正確に予測できるかを評価すること。
• 将来のインマージブルメディア向けマルチモーダルかつ知覚的に正確な品質指標の開発基盤を提供すること。

提案手法

• プロフェッショナル機器を用いて12の高品質な360°映像・音声シーンを収録：Insta360 Pro2で8K等角投影映像（7680×3840、30fps）と、em32 Eigenmikeで4次アンビソンクス（B形式、25チャンネル）音声を取得。
• MUSHRA法を用いて、音声のみ、映像のみ、音声映像の3つの別々の実験で、主観的平均意見スコア（MOS）を収集。
• ダウンスケーリングにより6144×3072に変換し、さまざまなビットレートおよびQP値でH.265/HEVCにエンコードすることで、処理済みの映像シーケンスを準備。
• 生の32チャンネルA形式から4次B形式（AmbiX）へのダウンミキシングにより音声シーケンスを生成。24ビット、48kHz、1チャンネルあたり1152 kbpsを維持。
• PLCC、SRCC、KRCC、AUC指標を用いて、12の音声および12の映像の客観的品質指標（例：ViSQOL、VMAF、PEAQ、PSNR）を主観的DMOSスコアと照合。
• 主観的スコアの統計的分析を実施し、全体の平均信頼区間（CI）、SOS（主観的スコアの感受性）、アセッサー数が正確性に与える影響を評価。

実験結果

リサーチクエスチョン

• RQ1 異なるエンコードパラメータが360°AVコンテンツにおける音声および映像の知覚的品質にどのように影響するか？
• RQ2 音声、映像、音声映像の各モダリティにおける主観的品質スコアの識別力と信頼性はどの程度か？
• RQ3 アセッサー数が主観的品質スコアの正確性と安定性にどのように影響するか？
• RQ4 360°音声および映像における主観的平均意見スコアと最も高い相関を示す客観的品質指標は何か？
• RQ5 提示されたデータセットが、インマージブルコンテンツ向けに新たなマルチモーダル知覚的品質モデルの開発をどの程度支援できるか？

主な発見

• 提示されたデータセットは、優れた識別力を示しており、映像実験では最高のスコア分散、音声映像実験では最も一貫性のある主観的スコアが得られた。
• 12名のアセッサーを経過した後、信頼区間（CI）が低く、安定したトレンドを示した。これにより、信頼性の高い結果を得るためには、各タスクで20名のアセッサーを用いることが妥当であると示唆された。
• 音声部分のデータセットは、他のMUSHRAベースの研究と同等のアルファ値を達成しており、知覚的評価における信頼性が確認された。
• 音声指標においては、ViSQOL aswbが最高のPLCC（0.924）、SRCC（0.938）、AUC（0.995）を記録し、PEAQやViSQOL wbを上回った。
• 映像においては、VMAF 4Kが最高のパフォーマンスを示し、PLCC 0.919、SRCC 0.957、AUC 0.989を達成。PSNR、SSIM、VMAF HDを著しく上回った。
• S-PSNR、WS-PSNR、CPP-PSNRなどの指標は、360°映像に適用された際、2D版と比較して知覚的利点を示さなかった。これは、等角投影コンテンツに対しては限界があることを示唆している。