[논문 리뷰] TOG: Targeted Adversarial Objectness Gradient Attacks on Real-time Object Detection Systems

Ka Ho Chow, Ling Liu외 4명|arXiv (Cornell University)|2020. 04. 09.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 13

한 줄 요약

이 논문은 실시간 객체 검출 시스템에서 객체 사라짐, 객체 생성, 객체 오라벨링을 유도하기 위해 객체 존재도 기울기를 활용하는 TOG라는 타겟 공격 가족을 소개한다. 적대적 전이성(transferability)을 활용함으로써 온라인 비용이 극히 낮고 인간이 인지하기 어려운 높은 효율의 블랙박스 공격을 가능하게 하여, PASCAL VOC 및 MS COCO 벤치마크에서 엣지 기반 DNN 검출기의 심각한 취약성을 드러낸다.

ABSTRACT

The rapid growth of real-time huge data capturing has pushed the deep learning and data analytic computing to the edge systems. Real-time object recognition on the edge is one of the representative deep neural network (DNN) powered edge systems for real-world mission-critical applications, such as autonomous driving and augmented reality. While DNN powered object detection edge systems celebrate many life-enriching opportunities, they also open doors for misuse and abuse. This paper presents three Targeted adversarial Objectness Gradient attacks, coined as TOG, which can cause the state-of-the-art deep object detection networks to suffer from object-vanishing, object-fabrication, and object-mislabeling attacks. We also present a universal objectness gradient attack to use adversarial transferability for black-box attacks, which is effective on any inputs with negligible attack time cost, low human perceptibility, and particularly detrimental to object detection edge systems. We report our experimental measurements using two benchmark datasets (PASCAL VOC and MS COCO) on two state-of-the-art detection algorithms (YOLO and SSD). The results demonstrate serious adversarial vulnerabilities and the compelling need for developing robust object detection systems.

연구 동기 및 목표

• 엣지 장치에 구현된 실시간 딥 객체 검출 시스템에서 임계적인 적대적 취약점을 식별하고 이를 악용하는 것.
• 사람의 시각적 인지가 불가능한 방식으로 객체 존재도 의미를 조작함으로써 객체가 사라지게 하거나, 생성되거나, 잘못 라벨링되게 하는 타겟 공격을 개발하는 것.
• 모든 입력에 대해 효과적인 단일 편향을 생성하는 유니버설 적대적 편향 방법을 설계하여, 거의 0에 가까운 온라인 비용으로 효율적인 블랙박스 공격을 가능하게 하는 것.
• 다양한 최첨단 검출기(YOLO, SSD)와 데이터셋(PASCAL VOC, MS COCO) 간의 TOG 공격 전이성(transferability)을 평가하는 것.
• 임무 핵심적인 엣지 AI 응용 분야에서 강력한 앙상블 기반 방어 메커니즘이 긴급히 필요하다는 것을 입증하는 것.

제안 방법

• 객체 검출기의 특징 공간에서 객체 존재도 기울기를 기반으로 최적화하여, 객체 사라짐, 객체 생성, 객체 오라벨링을 유도하는 세 가지 타겟 공격(TOG-vanishing, TOG-fabrication, TOG-mislabeling)을 제안한다.
• 시각적 완성도를 유지하면서 객체 존재도 예측을 변경하기 위해 최소한의 인간이 인지하기 어려운 편향을 입력 이미지에 주입하기 위해 기울기 기반 최적화를 사용한다.
• 사전에 오프라인으로 훈련하여 모든 입력에 대해 효과적인 단일 편향을 생성하는 유니버설 적대적 편향 알고리즘을 도입한다.
• 적대적 전이성(transferability)을 활용하여, 피해자 모델의 접근 권한 없이도 공격을 수행할 수 있도록, 한 검출기에서 훈련한 편향을 다른 모델을 속이는데 사용한다.
• 주요 피해자 모델로 YOLOv3와 SSD를 사용하고, PASCAL VOC 및 MS COCO 데이터셋에서 공격의 효과성과 전이성을 검증한다.
• 편향 최적화 과정에서 특정 객체 존재도 의미(예: 사라짐의 경우 0에 가까운 신뢰도, 생성의 경우 높은 신뢰도)를 목표로 기울기 기반 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 실시간 객체 검출기에서 객체 존재도 의미를 조작할 수 있는 타겟 공격를 설계할 수 있는가? 예를 들어, 객체 사라짐이나 생성을 유도할 수 있는가?
• RQ2 유니버설 적대적 편향이 다양한 객체 검출 모델에 대해 거의 0에 가까운 온라인 비용으로 블랙박스 공격을 얼마나 효과적으로 가능하게 하는가?
• RQ3 TOG 공격는 다양한 객체 검출 아키텍처(YOLOv3, SSD)와 데이터셋(PASCAL VOC, MS COCO) 간에 얼마나 효과적으로 전이되는가?
• RQ4 다양한 객체 존재도 의미(사라짐, 생성, 오라벨링)와 검출기 변종에 따라 공격 성공률는 어떻게 달라지는가?
• RQ5 피해자 모델의 아키텍처나 가중치를 사전에 알지 못해도 전이성을 신뢰성 있게 활용하여 효과적인 공격를 수행할 수 있는가?

주요 결과

• TOG 공격는 인간이 인지하기 어려운 편향을 사용하여, PASCAL VOC 및 MS COCO 데이터셋에서 YOLOv3와 SSD 모델에 대해 객체 사라짐, 객체 생성, 객체 오라벨링을 성공적으로 유도하였다.
• 유니버설 TOG 공격는 거의 0에 가까운 온라인 비용을 달성하였고, 피해자 모델에 대한 접근 없이도 전이성 덕분에 여러 피해자 검출기(예: SSD512, YOLOv3-D, YOLOv3-M)를 효과적으로 속였다.
• TOG 공격의 전이성은 상당한 차이를 보였다: TOG-universal 및 TOG-mislabeling(LL)는 SSD512와 YOLOv3 변종에 대해 강력한 전이성을 보였지만, TOG-mislabeling(ML) 및 TOG-fabrication는 부분적 또는 일관성 없는 전이성을 보였다.
• TOG-vanishing 공격는 SSD512에 완벽한 전이성을 보였으며, 검출 출력에서 객체가 완전히 사라지게 하여, 블랙박스 환경에서 매우 높은 공격 가능성(exploitability)을 입증하였다.
• TOG-fabrication 공격는 다양한 검출기에서 높은 수의 가짜 양식을 생성하였고, 다양한 아키텍처 간에도 여전히 상당한 수의 가짜 객체가 유지되었다.
• 실험 결과는 실시간 객체 검출기의 적대적 취약성이 심각하고 지속적임을 확인하였으며, 특히 전이 가능한 유니버설 편향의 경우 더욱 두드러졌다. 이는 강력한 방어 메커니즘의 필요성을 강조한다.