[論文レビュー] Universal Perturbation Attack on Differentiable No-Reference Image- and Video-Quality Metrics

Ekaterina Shumitskaya, Anastasia Antsiferova+1 more|arXiv (Cornell University)|Nov 1, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、微分可能でない参照なし（NR）画像および動画品質メトリクスに対する、最初のユニバーサル摂動攻撃（UAP）を紹介する。この手法は、視覚的品質を向上させることなく、メトリクススコアを意図的に上昇させる固定の摂動を訓練する。評価では、レート・リダンドンス（RD）曲線を用いてメトリクスの安定性を測定し、SPAQ、Nima、KonCept512は安定しているのに対し、PaQ-2-PiQ、Linearity、VSFA、MDTVSFAはスコア操作に対して極めて脆弱であることが判明した。

ABSTRACT

Universal adversarial perturbation attacks are widely used to analyze image classifiers that employ convolutional neural networks. Nowadays, some attacks can deceive image- and video-quality metrics. So sustainability analysis of these metrics is important. Indeed, if an attack can confuse the metric, an attacker can easily increase quality scores. When developers of image- and video-algorithms can boost their scores through detached processing, algorithm comparisons are no longer fair. Inspired by the idea of universal adversarial perturbation for classifiers, we suggest a new method to attack differentiable no-reference quality metrics through universal perturbation. We applied this method to seven no-reference image- and video-quality metrics (PaQ-2-PiQ, Linearity, VSFA, MDTVSFA, KonCept512, Nima and SPAQ). For each one, we trained a universal perturbation that increases the respective scores. We also propose a method for assessing metric stability and identify the metrics that are the most vulnerable and the most resistant to our attack. The existence of successful universal perturbations appears to diminish the metric's ability to provide reliable scores. We therefore recommend our proposed method as an additional verification of metric reliability to complement traditional subjective tests and benchmarks.

研究の動機と目的

• 微分可能でない参照なし（NR）画像および動画品質メトリクスがユニバーサルアドバーシャル摂動（UAP）に対してどれほど脆弱であるかを調査すること。
• レート・リダンドンス（RD）曲線を用いて、UAP下でのスコア変化を測定することにより、メトリクスの安定性を評価する手法を開発すること。
• どのNRメトリクスがユニバーサル摂動によってスコアが上昇する可能性があるかを特定し、アルゴリズム比較における信頼性の低下を防ぐこと。
• 主観的テストやベンチマーク相関性に基づく代替的検証手法を提供すること。

提案手法

• 微分可能なNRメトリクスの出力スコアを最大限に高めるために、固定で画像に依存しないノイズパターンとしてユニバーサル摂動（UAP）を訓練した。
• UAPを学習可能なパラメータとして扱い、10,000枚のCOCO画像を用いてディープラーニング最適化手法を適用して訓練した。
• H.264圧縮の前段階で、訓練済みのUAPをFullHD動画フレームに適用して、実世界の前処理を模擬した。
• ターゲットメトリクスのスコア上昇とプロキシメトリクスの損失の関係における曲線下の面積に基づく安定性スコアを提案した。負の値は脆弱性を示している。
• RD曲線を用いて、UAPが圧縮動画に与える影響を評価し、メトリクスの耐性を比較可能にした。
• 提案された安定性スコアと、主観的ベンチマークとの標準的なスピアマン順位相関（SRCC）の両方を用いて、メトリクスを評価した。

実験結果

リサーチクエスチョン

• RQ1 ユニバーサルアドバーシャル摂動を用いて、微分可能でない参照なし画像および動画品質メトリクスのスコアを意図的に上昇させることができるか？
• RQ2 どのNRメトリクスがこのような摂動に対して最も脆弱であり、どのメトリクスがより高い耐性を示すか？
• RQ3 RD曲線に基づく安定性スコアは、従来のSRCCに基づく評価と比較して、信頼できるメトリクスを特定する上で効果的か？
• RQ4 UAPは、画像および動画処理における客観的メトリクス比較の公平性をどの程度損なうか？

主な発見

• SPAQ、Nima、KonCept512はそれぞれ2.6、-0.1、-0.3の高い安定性スコアを示し、UAPに対して抵抗性があることが判明した。
• PaQ-2-PiQ、Linearity、VSFA、MDTVSFAは、-5.3、-4.2、-3.8、-4.8の負の安定性スコアを示し、強い脆弱性を示した。
• MDTVSFA（MSUベンチマークで0.94）のように高いSRCC相関を示しても、UAPによるスコア上昇に対して極めて感受性が高かった。
• 提案された安定性スコアは、標準ベンチマークで良好な成績を収めても、アドバーシャル摂動に対して信頼できないメトリクスを効果的に同定できた。
• 動画圧縮の前段階にUAPを適用することで、視覚的品質を向上させることなくメトリクススコアが著しく上昇した。これは、実世界のパイプラインにおけるメトリクス操作のリスクを示している。
• 本研究は、主観的スコアとの相関が高くても、ユニバーサル摂動に対して耐性がないことを確認した。これは、現在の評価手法における深刻な欠陥を浮き彫りにした。