[論文レビュー] A Person Re-identification Data Augmentation Method with Adversarial Defense Effect

Yunpeng Gong, Zhiyong Zeng+4 more|arXiv (Cornell University)|Jan 21, 2021

Adversarial Robustness in Machine Learning参考文献 33被引用数 8

ひとこと要約

本論文は、人物再識別（ReID）のためのマルチモーダルデータ拡張手法を提案し、敵対的攻撃に対してモデルのロバスト性を向上させる。ローカル／グローバルグレースケールパッチ置換を組み合わせ、可視画像、グレースケール画像、スケッチの3モダリティを統合することで、ReIDベンチマーク上での敵対的攻撃（MS-SSIMベース）に対して効果的に防御しつつ、精度を467倍（0.2%から93.3%）向上させる。

ABSTRACT

The security of the Person Re-identification(ReID) model plays a decisive role in the application of ReID. However, deep neural networks have been shown to be vulnerable, and adding undetectable adversarial perturbations to clean images can trick deep neural networks that perform well in clean images. We propose a ReID multi-modal data augmentation method with adversarial defense effect: 1) Grayscale Patch Replacement, it consists of Local Grayscale Patch Replacement(LGPR) and Global Grayscale Patch Replacement(GGPR). This method can not only improve the accuracy of the model, but also help the model defend against adversarial examples; 2) Multi-Modal Defense, it integrates three homogeneous modal images of visible, grayscale and sketch, and further strengthens the defense ability of the model. These methods fuse different modalities of homogeneous images to enrich the input sample variety, the variaty of samples will reduce the over-fitting of the ReID model to color variations and make the adversarial space of the dataset that the attack method can find difficult to align, thus the accuracy of model is improved, and the attack effect is greatly reduced. The more modal homogeneous images are fused, the stronger the defense capabilities is . The proposed method performs well on multiple datasets, and successfully defends the attack of MS-SSIM proposed by CVPR2020 against ReID [10], and increases the accuracy by 467 times(0.2% to 93.3%).The code is available at https://github.com/finger-monkey/ReID_Adversarial_Defense.

研究の動機と目的

• 深層学習モデルが人物再識別（ReID）において敵対的攻撃に対して脆弱であるという問題に対処する。
• マルチモーダルデータ拡張による入力サンプルの多様性を高め、モデルの一般化性能を向上させる。
• 追加の推論時防御を必要とせず、訓練プロセスに組み込まれた防御メカニズムを開発する。
• 色の変動に過剰適合するのを軽減し、同質的なモダリティによる特徴空間の拡充で敵対的攻撃の成功を阻害する。
• CVPR 2020で提唱されたMS-SSIMベースの最新敵対的攻撃に対して、強力な耐性を示すことを実証する。

提案手法

• 局所的画像パッチをそのグレースケール版に置き換えることで、局所的摂動に対してロバストになる「ローカルグレースケールパッチ置換（LGPR）」を導入する。
• 大規模な画像領域をグレースケール版に置き換えることで構造的不変性を高める「グローバルグレースケールパッチ置換（GGPR）」を実装する。
• 訓練中に可視画像、グレースケール画像、スケッチの3つの同質的モダリティを統合し、マルチモーダル入力を生成することで、特徴学習プロセスの多様化を図る。
• マルチモーダル統合を用いることで、色に依存するパターンへの過剰適合を低減し、色の変動に対して不変性を高める。
• 拡張されたマルチモーダルデータを用いてReIDモデルをエンドツーエンドで訓練し、ロバストで転送可能な特徴を学習可能にする。
• 敵対的空間における多様性を高めることで、モデルを欺く整合性のある摂動を見つけることを攻撃者に難しくする。

実験結果

リサーチクエスチョン

• RQ1 グレースケールおよびスケッチモダリティを組み込んだデータ拡張技術が、ReIDモデルの敵対的攻撃に対するロバスト性を向上させるか。
• RQ2 マルチモーダルデータ統合は、ReIDモデルにおける色の変動への過剰適合をどの程度低減するか。
• RQ3 提案手法は、ReIDベンチマーク上でのMS-SSIMベースの敵対的攻撃に対してどの程度効果的に防御できるか。
• RQ4 グレースケールパッチ置換（LGPRおよびGGPR）の統合が、同時に精度と敵対的防御を向上させるか。
• RQ5 同質的モダリティの数を増やすことで、モデルの防御能力と性能にどのような影響を与えるか。

主な発見

• 提案手法により、敵対的攻撃下でのReID精度が0.2%から93.3%に向上し、467倍の改善が達成された。
• CVPR 2020で提唱されたMS-SSIMベースの敵対的攻撃に対しても、モデルは効果的に防御を示し、強いロバスト性を示した。
• 可視画像、グレースケール画像、スケッチ画像のマルチモーダル統合は、モデルの一般化性能を著しく向上させ、色の変動への過剰適合を低減した。
• LGPRとGGPRの組み合わせにより、局所的およびグローバルな画像摂動に対して構造的不変性が導入され、モデルのロバスト性が向上した。
• 統合されるモダリティの数を増やすことで、モデルの防御能力が強化され、モダリティの多様性と敵対的ロバスト性の間には正の相関関係があることが示された。
• 本手法は複数のReIDデータセットで最先端の性能を達成するとともに、微細で目に見えない敵対的摂動に対しても強力な防御を維持した。