[논문 리뷰] Feasibility of Inconspicuous GAN-generated Adversarial Patches against Object Detection

Svetlana Pavlitskaya, Bianca-Marina Codău외 1명|arXiv (Cornell University)|2022. 07. 15.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 인간의 감지를 피하면서도 객체 검출기의 공격에 효과적으로 작용하는 눈에 띄지 않는 적대적 패치를 생성하기 위해 GAN 기반 방법을 평가한다. 사전 훈련된 GAN(DCGAN, BigGAN)을 적응시키고 PGD 최적화와 조합함으로써 저자들은 강력한 공격 성능을 보이며 현실적인 패치를 달 đạt하였다. 특히 COCO 데이터셋을 사용해 YOLOv3에서의 공격 성능을 평가한 결과, 사전 훈련된 GAN이 공격 효율성에 손해를 보이지 않은 채 뛰어난 시각적 사실성(visual fidelity)을 제공함을 보여주었다.

ABSTRACT

Standard approaches for adversarial patch generation lead to noisy conspicuous patterns, which are easily recognizable by humans. Recent research has proposed several approaches to generate naturalistic patches using generative adversarial networks (GANs), yet only a few of them were evaluated on the object detection use case. Moreover, the state of the art mostly focuses on suppressing a single large bounding box in input by overlapping it with the patch directly. Suppressing objects near the patch is a different, more complex task. In this work, we have evaluated the existing approaches to generate inconspicuous patches. We have adapted methods, originally developed for different computer vision tasks, to the object detection use case with YOLOv3 and the COCO dataset. We have evaluated two approaches to generate naturalistic patches: by incorporating patch generation into the GAN training process and by using the pretrained GAN. For both cases, we have assessed a trade-off between performance and naturalistic patch appearance. Our experiments have shown, that using a pre-trained GAN helps to gain realistic-looking patches while preserving the performance similar to conventional adversarial patches.

연구 동기 및 목표

• 인간의 감지를 피하면서도 객체 검출기를 공격할 수 있는 자연스럽고 눈에 띄지 않는 적대적 패치를 생성하는 것이 가능한지 조사한다.
• 기존 방법이 큰 물체에 직접 겹치는 데에만 집중하는 한계를 해결하기 위해, 패치 위치 근처의 물체를 공격 대상으로 삼는다.
• 디지털, 인스턴스별, 유니버설 설정에서 패치의 시각적 사실성과 공격 성능 간의 상호 상충 관계를 평가한다.
• 두 가지 GAN 기반 접근법인 종단간 PGD-GAN 훈련과 사전 훈련된 GAN을 이용한 패치 생성을 비교한다.
• COCO 데이터셋을 사용해 YOLOv3에서 성능을 평가하며, mAP 감소와 패치의 시각적 품질에 중점을 둔다.

제안 방법

• 객체 검출 공격를 위한 GAN 기반 패치 생성 방법—특히 PGD 최적화와 GAN 훈련을 조합한 PGD-GAN 및 사전 훈련된 GAN(DCGAN, BigGAN)을 적용한다.
• PGD 기반 적대적 훈련을 적용하여, 직접 겹치지 않은 근처의 객체에 대해 객체 검출기의 신뢰도 점수를 최소화하는 패치를 최적화한다.
• 적대적 손실, 인쇄 불가능성 손실, 총 변동 손실을 조합한 손실 함수를 사용하여 패치의 현실감과 인쇄 가능성을 확보한다.
• 인스턴스별 및 유니버설 공격 설정을 평가하며, 하나의 패치를 여러 이미지에 적용한다.
• 잠재 공간 조작(예: 잠재 벡터 이동, 밝기/대trast 조정)을 통해 사전 훈련된 GAN에서 시각적 품질을 향상시킨 패치를 생성한다.
• COCO 데이터셋을 사용해 YOLOv3를 타겟 검출기로 삼아 훈련 및 평가하며, 공격 성공률을 평균 평균 정확도(mAP) 감소로 측정한다.

실험 결과

연구 질문

• RQ1 GAN 기반 방법은 객체 검출기의 공격 성능를 유지하면서도 시각적으로 현실적이며 눈에 띄지 않는 적대적 패치를 생성할 수 있는가?
• RQ2 PGD-GAN 훈련과 비교할 때 사전 훈련된 GAN을 사용하는 것이 패치의 현실감과 공격 성공률 측면에서 어떻게 다른가?
• RQ3 생성된 패치의 시각적 사실성과 객체 검출에서의 mAP 감소 사이의 상호 상충 관계는 어떠한가?
• RQ4 직접 겹치지 않는 패치 근처의 물체를 공격하는 것이 눈에 띄지 않는 패치를 사용할 때도 여전히 효과적인가?
• RQ5 다른 GAN 아키텍처(DCGAN 대비 BigGAN)는 적대적 패치의 현실감과 효과성에 어떤 영향을 미치는가?

주요 결과

• qualitative 분석을 통해 사전 훈련된 GAN(BigGAN 포함)이 PGD-GAN 또는 전통적 방법보다 눈에 띄게 높은 시각적 사실성을 가진 패치를 생성함을 확인하였다.
• 밝기 및 대trast 조정을 적용한 사전 훈련된 DCGAN이 공격 성능와 시각적 품질의 최적 균형을 이룩하여, PGD-GAN 접근법보다 mAP 감소 측면에서 뛰어난 성능을 보였다.
• Hu 등(2021)의 방법을 사용해 생성한 패치는 사전 훈련된 DCGAN에 비해 유사한 mAP를 달성했지만, '자동차' 클래스에서 성능이 열 劣하고 BigGAN 기반 패치보다 현실감이 떨어졌다.
• 밝기 및 대trast 조정을 적용한 사전 훈련된 BigGAN 패치는 가장 높은 시각적 사실성을 보였지만, 공격 성능는 가장 열악하여 mAP가 최소 4.4%에 그쳐 기준 블랙 사각형 공격보다 열 劣한 성능를 보였다.
• 모든 GAN 기반 접근법이 청소된 이미지 대비 mAP를 크게 감소시켜, 눈에 띄지 않는 적대적 패치를 사용함에도 효과적인 공격 능력을 입증하였다. 다만 뚜렷한 적대적 패치의 성능에는 미치지 못했다.
• 연구는 명확한 상호 상충 관계를 확인하였다: 높은 시각적 사실성(BigGAN를 통한)은 낮은 공격 성공률과 관련이 있었고, 더 효과적인 공격(DCGAN를 통한)은 시각적 사실성 저하를 수반했다.