[論文レビュー] Towards Large yet Imperceptible Adversarial Image Perturbations with Perceptual Color Distance

Zhengyu Zhao, Zhuoran Liu+1 more|arXiv (Cornell University)|Nov 6, 2019

Adversarial Robustness in Machine Learning参考文献 57被引用数 10

ひとこと要約

本稿では、RGB空間における従来のLpノルムの代わりに、人間の色覚に合わせた知覚的色距離（PerC）、特にCIEDE2000を用いて敵対的画像摂動を最適化する手法を提案する。摂動最適化を人間の色覚に合わせることで、著しく大きなRGB摂動を維持しつつも、人間の目にはほとんど見えない状態を実現するPerC-C&WおよびPerC-AL手法を導入し、Lp制約付き手法と比較して、敵対的攻撃の強度と転送性が顕著に向上した。

ABSTRACT

The success of image perturbations that are designed to fool image classifier is assessed in terms of both adversarial effect and visual imperceptibility. The conventional assumption on imperceptibility is that perturbations should strive for tight $L_p$-norm bounds in RGB space. In this work, we drop this assumption by pursuing an approach that exploits human color perception, and more specifically, minimizing perturbation size with respect to perceptual color distance. Our first approach, Perceptual Color distance C&W (PerC-C&W), extends the widely-used C&W approach and produces larger RGB perturbations. PerC-C&W is able to maintain adversarial strength, while contributing to imperceptibility. Our second approach, Perceptual Color distance Alternating Loss (PerC-AL), achieves the same outcome, but does so more efficiently by alternating between the classification loss and perceptual color difference when updating perturbations. Experimental evaluation shows PerC approaches outperform conventional $L_p$ approaches in terms of robustness and transferability, and also demonstrates that the PerC distance can provide added value on top of existing structure-based methods to creating image perturbations.

研究の動機と目的

• RGB空間におけるタイトなLpノルム制約が、人間が感知できない敵対的摂動に不可欠であるという従来の仮定に挑戦すること。
• RGBベースのLpノルムの代わりに、知覚的色距離（CIEDE2000）を最適化の基準として用いることで、敵対的摂動の質を向上させること。
• Lpベースの手法がしばしば失敗する、滑らかで彩度の高い領域における不正な目立たなさの向上、特に高信頼度分類設定下での改善。
• 知覚的色距離を、画像の構造的特徴（例：テクスチャの複雑さ）と組み合わせることで、視覚的なアーチファクトをさらに抑制できることを示すこと。
• PerCベースの摂動が、ディープラーニングにおけるプライバシー保護およびセキュリティ強化の応用分野において、どのような可能性を秘めているかを調査すること。

提案手法

• CIELCH色空間におけるCIEDE2000を用いた知覚的色距離に置き換えることで、C&W攻撃の拡張版であるPerC-C&Wを提案する。
• 摂動更新時に分類損失と知覚的色差の間を交互に最適化する、より効率的な逐次最適化戦略であるPerC-ALを導入する。
• 標準的なRGBやCIELABと比較して、人間の色覚をより正確にモデル化できるCIELCH色空間表現を用いる。
• 人間の視覚感受性に合わせた形で、色の違いを定量的に測定できる知覚的距離メトリックとしてCIEDE2000の公式を採用する。
• 3×3画像パッチ内の局所標準偏差から導出されるテクスチャ複雑度ベクトルσを用いて、変動の大きい領域での摂動を抑制する。
• PerC-ALの損失関数において、知覚的距離を(1−σ)で重み付けすることで、テクスチャが複雑な領域での摂動強度を低下させ、視覚的な不正な目立ちを軽減する。

実験結果

リサーチクエスチョン

• RQ1 知覚的色距離（CIEDE2000）は、人間の視覚に合わせた不正な目立ちを維持しつつ、敵対的摂動の大きさを測るLpノルムの優れた代替手段として機能するか？
• RQ2 知覚的色距離に基づく最適化により、特に彩度が高く滑らかな画像領域において、視覚的に目立たないままより大きなRGB摂動が得られるか？
• RQ3 PerCベースの攻撃は、標準的なLp制約付き攻撃（例：C&W、I-FGSM）と比較して、敵対的成功確率、ロバスト性、および転送性の観点でどの程度優れているか？
• RQ4 知覚的色距離を、画像の構造的特徴（例：テクスチャの複雑さ）と効果的に組み合わせることで、敵対的摂動の不正な目立ちをさらに抑制でき、敵対的攻撃の強度を損なわずに視覚的品質を向上させられるか？
• RQ5 PerCベースの摂動は、モデルのロバスト性にどのような影響を及ぼすか。また、新たな防御機構によって検出可能または抑制可能か？

主な発見

• PerC-C&WおよびPerC-ALは、特に高信頼度レベル（κ=40）において、標準的なLpベースの手法よりも高い敵対的成功確率を達成しており、ResNet-152およびVGG-16ではC&Wを1.2～2.1ポイント上回った。
• PerCベースの手法は、RGB空間におけるL2およびLinfノルムが顕著に大きくなった（例：Inception v3でκ=40のとき、PerC-ALでは最大4.7および6.9）が、視覚的にはほとんど目立たない。特に滑らかで彩度の高い領域で顕著に効果を発揮した。
• PerC距離と構造的特徴（σベクトルを介して）の組み合わせにより、テクスチャが複雑な領域での摂動がさらに抑制され、視覚的品質が向上した。
• 構造ベースの手法と組み合わせた場合、PerC距離が追加の利点を提供しており、PerC-AL+structureの組み合わせでは性能が向上した。
• PerCベースの攻撃は、モデル間での転送性が顕著に優れており（例：Inception v3からGoogLeNet、VGG-16、ResNet-152への転送）、より強い一般化能力を示した。
• 結果から、特に小さなRGB変化が大きな知覚的差異を引き起こす領域において、Lpノルムよりも知覚的色距離が人間の視覚感受性をより正確に反映していることが確認された。