[論文レビュー] Strategy for Boosting Pair Comparison and Improving Quality Assessment Accuracy

Suiyi Ling, Jing Li+4 more|arXiv (Cornell University)|Oct 1, 2020

Image and Video Quality Assessment参考文献 39被引用数 6

ひとこと要約

本稿では、絶対的カテゴリー評価（ACR）と対比較（PC）データを統合することで、必要な比較回数を削減しつつ品質評価の正確性を向上させる、新しいアクティブサンプリングフレームワークを提案する。ACRデータを初期化に用い、ばらつきを考慮したサーストンモデル（ケースIII）を適用することで、従来のPCまたはACR単独と比較して、計算コストを低く抑えながらも、より高い識別能を達成する。

ABSTRACT

The development of rigorous quality assessment model relies on the collection of reliable subjective data, where the perceived quality of visual multimedia is rated by the human observers. Different subjective assessment protocols can be used according to the objectives, which determine the discriminability and accuracy of the subjective data. Single stimulus methodology, e.g., the Absolute Category Rating (ACR) has been widely adopted due to its simplicity and efficiency. However, Pair Comparison (PC) is of significant advantage over ACR in terms of discriminability. In addition, PC avoids the influence of observers' bias regarding their understanding of the quality scale. Nevertheless, full pair comparison is much more time-consuming. In this study, we therefore 1) employ a generic model to bridge the pair comparison data and ACR data, where the variance term could be recovered and the obtained information is more complete; 2) propose a fusion strategy to boost pair comparisons by utilizing the ACR results as initialization information; 3) develop a novel active batch sampling strategy based on Minimum Spanning Tree (MST) for PC. In such a way, the proposed methodology could achieve the same accuracy of pair comparison but with the compelxity as low as ACR. Extensive experimental results demonstrate the efficiency and accuracy of the proposed approach, which outperforms the state of the art approaches.

研究の動機と目的

• ACRとPCの手法を統合することで、主観的品質評価における識別能と効率性のトレードオフを解消すること。
• 標準モデルで失われるばらつき情報を回復させることで、対比較データの変換精度を向上させること。
• ACR初期化に基づくアクティブサンプリングにより、比較回数を削減し、人的負担を最小限に抑えつつ性能を損なわないこと。
• 微細な知覚差を有する高品質なマルチメディアコンテンツのための、より強固で正確な主観的データ収集パイプラインの構築

提案手法

• ACR結果で対比較行列を初期化することで、ACRとPCデータを統合する戦略を採用し、収束を高速化し、試行回数を削減する。
• 標準モデルで失われる観察者バイアスや一貫性の欠如情報を保持するため、サーストンモデル・ケースIIIを応用して刺激のばらつきを回復する。
• 最小全域木（MST）を用いて不確実性の高いまたは類似したペアを優先する、新しいハイブリッド-MSTアクティブバッチサンプリング戦略を提案する。
• ACR初期化とばらつきを考慮したモデル更新を活用して、サンプリングを誘導するグリーディバッチ選択プロセスを採用する。
• 各反復で最も情報量の多いペアを選択するために、期待改善に基づく情報量指標を用いる。
• サーストンモデルにおける効率的なパrameter推定のため、一般化されたモーメントベース最適化を統合する。

実験結果

リサーチクエスチョン

• RQ1 ACRデータは、対比較ベースの品質評価の初期化および性能向上に効果的に利用可能か？
• RQ2 対比較データにおけるばらつきの回復は、品質スコア推定の正確性をどの程度向上させるか？
• RQ3 MSTに基づくアクティブバッチサンプリング戦略は、比較回数を削減しつつも高い識別能を維持できるか？
• RQ4 提案された統合フレームワークは、SROCCおよび真値との整合性の観点から、最先端手法と比較してどのように差をつけるか？

主な発見

• ストリーミング動画データセットにおいて、提案フレームワークは真値との一致割合が最高の0.9883を達成し、TM（0.9848）およびBT（0.9839）を上回った。
• Kaistデータセットでは、約10試行目でベースラインモデルを上回り、ACR初期化を用いた初期SROCCは0.908であった。
• ACR初期化なしでは、すべてのデータセットで初期SROCC値が著しく低下し、最初の2試行では0.2〜0.4の範囲にとどまった。
• ACR初期化の導入により、標準PC手法と比較して必要な試行回数が最大70％削減されたが、性能は維持または向上した。
• ばらつき回復を組み込んだハイブリッド-MSTサンプリング戦略は、Kaist、IVC、DIBR、ストリーミングの4つの実世界データセットすべてで、ベースライン手法を上回るSROCC値を達成した。
• 一致度テストの結果、提案モデルが回復したスコアは、すべてのデータセットで人間の知覚と最も整合性が高かった。