[論文レビュー] Deviation Based Pooling Strategies For Full Reference Image Quality Assessment

Hossein Ziaei Nafchi, Rachid Hedjam+2 more|arXiv (Cornell University)|Apr 26, 2015

Image and Video Quality Assessment参考文献 19被引用数 4

ひとこと要約

本稿では、フルレファレンス画像品質評価（IQA）における標準偏差（SD）および平均プーリングの代替手段として、よりロバストで効率的な平均絶対偏差（MAD）プーリングを提案する。実験結果から、MADプーリングはさまざまな歪みタイプにおいてSDプーリングよりもロバスト性に優れ、VSIやGMSDを含む複数のIQAモデルにおいて、平均プーリングおよびSDプーリングを上回る性能を発揮するとともに、計算効率を維持している。

ABSTRACT

The state-of-the-art pooling strategies for perceptual image quality assessment (IQA) are based on the mean and the weighted mean. They are robust pooling strategies which usually provide a moderate to high performance for different IQAs. Recently, standard deviation (SD) pooling was also proposed. Although, this deviation pooling provides a very high performance for a few IQAs, its performance is lower than mean poolings for many other IQAs. In this paper, we propose to use the mean absolute deviation (MAD) and show that it is a more robust and accurate pooling strategy for a wider range of IQAs. In fact, MAD pooling has the advantages of both mean pooling and SD pooling. The joint computation and use of the MAD and SD pooling strategies is also considered in this paper. Experimental results provide useful information on the choice of the proper deviation pooling strategy for different IQA models.

研究の動機と目的

• 既存のプーリング戦略—特に標準偏差（SD）プーリングにおける大きな偏差への過剰な重み付け—の限界を是正することを目的とする。
• 平均絶対偏差（MAD）プーリングが、平均プーリングおよびSDプーリングと比較して、IQAモデルにおける有効性、ロバスト性、および効率性を評価すること。
• MADおよびSDプーリング戦略を併用することで、特定のIQAモデルにおいて優れた性能が得られるかどうかを調査すること。
• 歪みタイプおよびデータセットごとの性能に基づき、異なるIQAモデルに最適な偏差ベースのプーリング戦略の選定に関する実証的指針を提供すること。

提案手法

• 平均からの絶対偏差の平均として計算される、偏差に基づく戦略としての平均絶対偏差（MAD）プーリングを提案する。これにより、SDプーリングと比較して大きな誤差への過剰な重み付けが軽減される。
• ハイパーパrameter α で制御される重み付き組み合わせを用いた、MADとSDを同時に計算する統合偏差プーリング戦略（DDプーリング）を導入する。
• 位相整合性、勾配、コントラストなどの画像特徴から導出される局所類似マップを用いて、SSIM、FSIM、GS、GMSD、VSI などの既存IQAモデルにMAD、SD、DDプーリングを適用する。
• ベンチマークデータセット（TID2013、TID2008、CSIQ）を用い、SROCC、KROCC、PCC、SRC といった標準的な評価指標を用いて、プーリング戦略間の性能を比較する。
• Minkowski距離フレームワークを用いて、順序 ρ における分散の一般化測度として偏差プーリングを形式化する。ここで ρ=1 はMAD、ρ=2 はSDに対応する。
• 標準CPU上でのランタイム分析を実施し、MAD、SD、およびMAD+SD（DD）プーリングの計算効率を比較する。

実験結果

リサーチクエスチョン

• RQ1 平均絶対偏差（MAD）プーリングは、IQAにおける多様な画像歪みに対して、標準偏差（SD）プーリングと比較してより優れたロバスト性と精度を示すか？
• RQ2 MADプーリングは、異なるIQAモデルにおいて、平均プーリングおよび重み付き平均プーリングと比較して、性能および信頼性に優れているか？
• RQ3 MADおよびSDプーリングの併用（DDプーリング）により、特定のIQAモデルにおいて個々の戦略を上回る性能が得られるか？
• RQ4 MADプーリングはSDプーリングよりも計算的に効率的であり、計算コストを削減しながらも高い性能を維持できるか？
• RQ5 どのIQAモデルがMADプーリングによって最も恩恵を受けるか？また、VSI、GMSD、FSIM などのモデルに対して最適なプーリング戦略は何か？

主な発見

• MADプーリングは、特に個々の歪みタイプにおいてSDプーリングよりもロバスト性に優れ、VSIでは最小SRC値が0.4564（SDプーリングでは0.1713）を記録した。
• VSIインデックスにおいて、MADプーリングは歪みタイプごとの平均予測精度を1.8910%向上させ、TID2013における全体のSROCCおよびPCC指標のわずかな低下にもかかわらず、最小品質予測値を向上させた。
• GMSDにMADプーリング（GMS_MAD）を適用した場合、元のGMSD（SDベース）よりも高速であり、歪みタイプごとの性能も優れている。
• α=0.1 のDDプーリング（MAD+SD）は、VSIおよびGMSインデックスにおいてSDプーリング単体よりも高い性能を示し、歪みタイプ全体にわたるロバスト性が向上した。
• MADプーリングはSDプーリングよりも計算が高速であり、平均プーリングに次いで2番目に速く、MADとSDの併用計算も依然として効率的であった。
• SSIMにおいては、MADプーリングがSDプーリングを上回ったが、SDプーリングは特定の歪みにおいて著しく性能を発揮できなかった。これは、MADの優れたロバスト性を示している。