[論文レビュー] R-LPIPS: An Adversarially Robust Perceptual Similarity Metric

Sara Ghazanfari, Siddharth Garg+3 more|arXiv (Cornell University)|Jul 27, 2023

Adversarial Robustness in Machine Learning被引用数 12

ひとこと要約

R-LPIPSは敵対的な摂動に対する堅牢性をLPIPSより向上させ、敵対的に使用した場合により強力な知覚的攻撃を可能にする、対敵訓練済みの知覚的類似性指標です。

ABSTRACT

Similarity metrics have played a significant role in computer vision to capture the underlying semantics of images. In recent years, advanced similarity metrics, such as the Learned Perceptual Image Patch Similarity (LPIPS), have emerged. These metrics leverage deep features extracted from trained neural networks and have demonstrated a remarkable ability to closely align with human perception when evaluating relative image similarity. However, it is now well-known that neural networks are susceptible to adversarial examples, i.e., small perturbations invisible to humans crafted to deliberately mislead the model. Consequently, the LPIPS metric is also sensitive to such adversarial examples. This susceptibility introduces significant security concerns, especially considering the widespread adoption of LPIPS in large-scale applications. In this paper, we propose the Robust Learned Perceptual Image Patch Similarity (R-LPIPS) metric, a new metric that leverages adversarially trained deep features. Through a comprehensive set of experiments, we demonstrate the superiority of R-LPIPS compared to the classical LPIPS metric. The code is available at https://github.com/SaraGhazanfari/R-LPIPS.

研究の動機と目的

• LPIPS が敵対的摂動に対して脆弱なことを動機づけ、分析する。
• 頑健性を向上させるための敵対的訓練済みのLPIPS（R-LPIPS）を提案する。
• 一般的な敵対攻撃および知覚的敵対攻撃に対するR-LPIPSの頑健性を評価する。
• 特定の防御下でR-LPIPSに対して作成された攻撃が従来の知覚攻撃を上回ることを示す。

提案手法

• LPIPSを、事前学習済みネットワークの深層特徴量間の加重L2距離として定義する。
• バックボーンを固定したまま、ロバストな特徴量ウェイトを学習するために adversarial training (Madry et al., 2017) を適用する。
• 複数の歪み条件で、LPIPSとR-LPIPSの下で自然と攻撃済みの2AFCスコアを比較して頑健性を評価する。
• 攻撃目的においてLPIPSをR-LPIPSに置換したR-PPGDおよびR-LPA知覚攻撃を導入する。
• Perceptual Adversarial Training (PAT) などの知覚防御と比較し、ℓ∞およびℓ2摂動下での頑健性を分析する。

実験結果

リサーチクエスチョン

• RQ1 LPIPSは敵対的摂動に対して脆弱ですか。
• RQ2 敵対的攻撃下でLPIPSと比較したとき、R-LPIPSはどれくらい頑健ですか。
• RQ3 R-LPIPS上で構築された知覚攻撃は、LPIPS上で構築されたものより強力になり得ますか。
• RQ4 敵対的訓練が知覚指標の自然な性能と攻撃後の性能に与える影響は何ですか。

主な発見

• LPIPSはℓ∞-PGDおよびℓ2-PGDで作成された敵対的摂動に脆弱であることが示され、攻撃下で2AFCスコアが低下する。
• R-LPIPSはℓ∞またはℓ2の敵対訓練で訓練すると敵対摂動に対する頑健性が向上し、LPIPSより高い攻撃後の性能閾値を維持する。
• OPT風の敵対的最適化の下で、LPIPSは小さな画素摂動で大きな知覚距離を生み出すことがある一方、R-LPIPSはこのような摂動下でも人間が知覚する類似性により忠実である。
• R-LPIPSに基づく攻撃（R-PPGD、R-LPA）はPATのような防御を著しく低下させる可能性があり、堅牢な指標に基づく知覚攻撃の強さと適切な防御と組み合わせたときの残る脆弱性を浮き彫りにする。
• The natural (unattacked) performance (2AFC) of R-LPIPS remains comparable to LPIPS across distortions, with potential generalization benefits from adversarial training.