[論文レビュー] A crowdsourcing approach to video quality assessment

Babak Naderi, Ross Cutler|arXiv (Cornell University)|Apr 14, 2022

Image and Video Quality Assessment被引用数 5

ひとこと要約

本論文は、Amazon Mechanical Turkを介して、高精度でスケーラブルかつコスト効率の良い主観的品質評価を可能にする、オープンソースでクラウドソーシングされたITU-T Rec. P.910の実装を提示する。被験者、デバイス、環境、ネットワークの資格確認に加え、ゴールド問題およびトラッピング問題を導入することで、ラボレベルの正確性と高い再現性を達成し、ACR、ACR-HR、DCR、CCR手法において一貫性を検証した。

ABSTRACT

The gold standard for measuring video quality is the subjective test, and the most prevalent is the ITU-T Rec. P.910, a lab-based subjective standard in use for the past two decades. However, in practice using ITU-T Rec. P.910 is slow, expensive, and requires a lab, which all create barriers to usage. As a result, most research papers that need to measure video quality don't use ITU-T Rec. P.910 but rather metrics that are not well correlated to subjective opinion. We provide an open-source extension of ITU-T Rec. P.910 based on crowdsourcing principles which address the speed, usage cost, and barrier to usage issues. We implement Absolute Category Rating (ACR), ACR with hidden reference (ACR-HR), Degradation Category Rating (DCR), and Comparison Category Rating (CCR). It includes rater, environment, hardware, and network qualifications, as well as gold and trapping questions to ensure quality. We have validated that the implementation is both accurate and highly reproducible compared to existing ITU-T Rec. P.910 lab studies.

研究の動機と目的

• ラボベースのITU-T Rec. P.910主観的動画品質評価における高コスト、低速、およびロジスティクス的障壁を解消する。
• Amazon Mechanical Turkなどのクラウドソーシングプラットフォームを活用し、スケーラブルで正確かつ再現性のある動画品質評価を実現する。
• 被験者、環境、ハードウェア、ネットワークの資格確認に加え、ゴールド問題およびトラッピング問題を導入し、データ品質を確保する。
• 従来のラボ研究と比較して、クラウドソーシングフレームワークの信頼性と一貫性を検証する。
• 学術的および産業的動画コーデック評価、特にCVPR 2022 CLICチャレンジへの応用を想定した、本番環境で利用可能なオープンソースツールを提供する。

提案手法

• 絶対カテゴリー評価（ACR）、隠し基準を伴うACR（ACR-HR）、劣化カテゴリー評価（DCR）、比較カテゴリー評価（CCR）の4つの標準化された主観的テスト手法を実装する。
• 視力の鋭さおよび色覚異常テストによる被験者資格確認を実施し、参加者の適性を保証する。
• 環境およびハードウェアの資格確認チェックを適用し、多様なクラウドワーカーの環境においても視聴条件を標準化する。
• ネットワーク品質のチェックを導入し、テスト中における安定した動画ストリーミングを確保する。
• 低努力または注意散漫な被験者を検出・除外するためにゴールド問題およびトラッピング問題を統合する。
• 動画再生回数のログ記録を実施し、制御不能な環境下での繰り返し視聴を監視・補正する。

Figure 1: Data Flow Diagram.

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングプラットフォームは、ラボベースのITU-T Rec. P.910主観的動画品質評価の正確性と再現性を再現できるか？
• RQ2 被験者、環境、ハードウェア、ネットワークの資格確認が、クラウドソーシングされた動画品質評価の信頼性と妥当性に与える影響は何か？
• RQ3 クラウドソーシングによるACR、DCR、CCR、ACR-HR手法で収集された評価と、従来のラボ研究での評価との相関関係は何か？
• RQ4 PSNR、MS-SSIM、VMAFといった客観的指標と、本研究で提案するクラウドソーシングフレームワークで収集された主観的評価との相関関係は何か？
• RQ5 クラウドソーシングにおいて、制御不能な環境下で動画の繰り返し再生を許容することで、データ品質はどの程度向上するか？

主な発見

• ACRとACR-HR間、DCRとCCR間の評価において、高い相関（ピアソンのr > 0.96）を示し、テスト手法間の強い一貫性を確認した。
• フレームワークは高い再現性を示し、動画クリップおよびモデルの両レベルで、異なるテスト手法間の相関係数が0.91を超えた。
• PSNR、MS-SSIM、VMAFといった客観的指標は、主観的評価と弱い相関（ピアソンのr < 0.73）を示し、現代の動画コーデックに対する予測力の限界を確認した。
• 動画シーケンスのうちたった6.3％しか1回以上再生されなかったことから、柔軟な視聴ポリシーにもかかわらず、制御不能な環境の影響は最小限であった。
• 本ツールはCVPR 2022 CLICチャレンジに成功裏に導入され、27セットの圧縮動画クリップが収集され、1シーケンスあたり12.1～21.6件の有効評価が得られた。
• 資格確認および検証ステップの導入により、データ品質が著しく向上し、ラボ外環境でも大規模かつ信頼性のある動画品質評価が可能になった。

Figure 2: The crowdsourcing test from the participant’s perspective.