[論文レビュー] MCL-3D: a database for stereoscopic image quality assessment using 2D-image-plus-depth source

Rui Song, Hyunsuk Ko+1 more|arXiv (Cornell University)|Mar 23, 2014

Image and Video Quality Assessment参考文献 21被引用数 62

ひとこと要約

本論文は、深度画像ベースレンダリング（DIBR）を用いて2D画像と深度マップから生成された公開可能なステレオ画像品質評価データベース、MCL-3Dを紹介する。本研究では、ぼかし、ノイズ、圧縮、レンダリングアーティファクトなど多様な歪みに対して2Dおよび3D画像品質指標の性能を評価し、既存の目的的指標が3Dコンテンツの知覚的品質を予測する上で依然として不足していることを示している。

ABSTRACT

A new stereoscopic image quality assessment database rendered using the 2D-image-plus-depth source, called MCL-3D, is described and the performance benchmarking of several known 2D and 3D image quality metrics using the MCL-3D database is presented in this work. Nine image-plus-depth sources are first selected, and a depth image-based rendering (DIBR) technique is used to render stereoscopic image pairs. Distortions applied to either the texture image or the depth image before stereoscopic image rendering include: Gaussian blur, additive white noise, down-sampling blur, JPEG and JPEG-2000 (JP2K) compression and transmission error. Furthermore, the distortion caused by imperfect rendering is also examined. The MCL-3D database contains 693 stereoscopic image pairs, where one third of them are of resolution 1024x728 and two thirds are of resolution 1920x1080. The pair-wise comparison was adopted in the subjective test for user friendliness, and the Mean Opinion Score (MOS) can be computed accordingly. Finally, we evaluate the performance of several 2D and 3D image quality metrics applied to MCL-3D. All texture images, depth images, rendered image pairs in MCL-3D and their MOS values obtained in the subjective test are available to the public (http://mcl.usc.edu/mcl-3d-database/) for future research and development.

研究の動機と目的

• 2D画像＋深度を出典とする包括的なステレオ画像品質評価データベースの構築を目的とする。
• テクスチャおよび深度マップに影響を及ぼす多様な歪みに対する既存の2Dおよび3D画像品質指標の性能を評価することを目的とする。
• 今後の3D画像品質評価分野における研究のための公開可能なリソースを提供することを目的とする。
• 非対称な歪みおよびレンダリングの不完全さが、知覚される3D画像品質に与える影響を調査することを目的とする。
• 現在の目的的品質指標が3Dコンテンツのヒューマンパーセプションを予測する際の限界をベンチマークすることを目的とする。

提案手法

• ステレオレンダリングの出典として、9つの2Dテクスチャ画像とそれに対応する深度マップを選定した。
• 2D＋深度入力からステレオビュー（左および右）を生成するために、深度画像ベースレンダリング（DIBR）を用いた。
• レンダリング前に、テクスチャ画像または深度マップのいずれかに独立して複数の歪みタイプを適用した：ガウスノイズ、加法的白色ノイズ、ダウンサンプリングぼかし、JPEG、JPEG-2000（JP2K）圧縮、および送信エラー。
• 不完全なレンダリング効果も、実世界のレンダリングアーティファクトを模倣する歪み要因として含めた。
• ユーザーの使いやすさと信頼性を確保するため、ペアワイズの主観的テスト法を用いて平均意見スコア（MOS）を収集した。
• MOS値との相関を評価するために、ピアソン積率相関（PCC）、順位相関（SROCC）、および平均二乗誤差（MSE）を用いて、14の2Dおよび3D画像品質指標の性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 テクスチャまたは深度マップに適用された異なる歪みタイプが、ステレオ画像の知覚的品質にどのように影響を与えるか？
• RQ2 既存の2Dおよび3D画像品質指標が、MCL-3Dデータベースにおけるヒューマン主観的評価とどの程度相関しているか？
• RQ3 3D固有の品質指標の性能は、2D指標と比較して3D画像品質評価ベンチマークでどのように異なるか？
• RQ4 非対称な歪みおよびレンダリングの不完全さが、ステレオ3D画像ペアの知覚的品質に与える影響は何か？
• RQ5 MCL-3Dデータベースは、新しい目的的3D画像品質評価モデルの開発および検証のための信頼できるベンチマークとして機能できるか？

主な発見

• MCL-3Dデータベースには693組のステレオ画像ペアが含まれており、そのうち1/3が1024×728解像度、残りの2/3が1920×1080解像度である。
• データベースには、テクスチャまたは深度画像に適用された歪みが含まれており、ガウスぼかし、加法的白色ノイズ、ダウンサンプリングぼかし、JPEG、JP2K圧縮、送信エラーが含まれる。
• MCL-3Dで最高の性能を示した2D指標はPSNR_HVSで、PCCが0.8783、SROCCが0.8857であった。
• 3D固有の指標の中で、構造的歪みパラメータに基づくMethod Dは、PCCが0.8910、SROCCが0.8880を達成したが、MSEが6.8870と高く、一貫性に欠けることが示された。
• 既存の3D品質指標は2D指標を顕著に上回ることはなく、SSIM拡張に基づくMethod Cが、複数のデータベースで優れた性能（PCC: 0.8683、SROCC: 0.8690）を示した。
• 結果から、非対称的かつ複雑な歪みに対して強い汎用性を持つ目的的3D画像品質指標の設計は、依然として未解決の課題であることが示された。