[논문 리뷰] DTA: Physical Camouflage Attacks using Differentiable Transformation Network

Naufal Suryanto, Yongsu Kim외 7명|arXiv (Cornell University)|2022. 03. 18.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 3D 객체에 고도로 현실적인 광학 효과를 구현하는 유사한 광학 변형을 통합한 유연한 신경 렌더링 기반의 물리적 침투 공격 프레임워크인 DTA를 제안한다. 새로운 유연한 변환 네트워크(DTN)를 활용해 정확한 조명, 그림자, 재질 효과를 유지하면서도 고해상도의 렌더링을 달성함으로써, 시뮬레이션(CARLA) 및 실제 환경에서의 테스트에서 최신 객체 검출기들을 성공적으로 회피할 수 있다.

ABSTRACT

To perform adversarial attacks in the physical world, many studies have proposed adversarial camouflage, a method to hide a target object by applying camouflage patterns on 3D object surfaces. For obtaining optimal physical adversarial camouflage, previous studies have utilized the so-called neural renderer, as it supports differentiability. However, existing neural renderers cannot fully represent various real-world transformations due to a lack of control of scene parameters compared to the legacy photo-realistic renderers. In this paper, we propose the Differentiable Transformation Attack (DTA), a framework for generating a robust physical adversarial pattern on a target object to camouflage it against object detection models with a wide range of transformations. It utilizes our novel Differentiable Transformation Network (DTN), which learns the expected transformation of a rendered object when the texture is changed while preserving the original properties of the target object. Using our attack framework, an adversary can gain both the advantages of the legacy photo-realistic renderers including various physical-world transformations and the benefit of white-box access by offering differentiability. Our experiments show that our camouflaged 3D vehicles can successfully evade state-of-the-art object detection models in the photo-realistic environment (i.e., CARLA on Unreal Engine). Furthermore, our demonstration on a scaled Tesla Model 3 proves the applicability and transferability of our method to the real world.

연구 동기 및 목표

• 기존의 신경 렌더링 기법이 물리적 공격 시 그림자, 반사 등의 현실적인 물리적 변형을 모의하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 장면 수준의 현실감을 유지하면서 기울기 기반 최적화를 가능하게 함으로써, 유연한 신경 렌더링과 사진 수준의 시뮬레이션 간 격차를 메우기 위해.
• 조명, 시점, 가림막 등의 실제 환경 변형에 강건한 공격 패tern을 생성하는 방법을 개발하기 위해.
• 모의 환경(CARLA)과 실제 물리적 구현 모두에서 공격의 이동성과 효과성을 입증하기 위해.
• 완전한 기울기 기반 최적화를 유지하면서도 도청 공격에 적합한 고시각 품질을 확보함으로써 화이트박스 공격 성능을 실현하기 위해.

제안 방법

• 3D 객체의 텍스처가 수정될 때 외관이 어떻게 변하는지를 학습하는 유연한 변환 네트워크(DTN)를 제안하여 원래의 재질, 조명, 그림자 특성을 유지한다.
• DTN을 기존의 사진 수준의 렌더러(예: Unreal Engine)에 유연한 모듈로 통합하여 렌더링 파이프라인 전반에 걸쳐 엔드 투 엔드 기울기 역전파를 가능하게 한다.
• 그림자 투사 및 빛 반사와 같은 장면 수준의 변형을 포함하여, 공격 패턴과 장면 수준의 변형을 동시에 최적화하는 유연한 렌더링 파이프라인을 사용한다.
• 다양한 카메라 자세와 조명 조건에서 검출 신뢰도를 최소화하는 공격 텍스처를 생성하기 위해 기울기 기반 최적화 과정을 적용한다.
• 3D 차량에 프레임워크를 적용하여 페인팅 가능한 표면 전체를 커버하는 침투 패턴을 생성함으로써 최대한의 은폐를 달성한다.
• 모의 환경(CARLA)과 실제 3D 프린팅된 축소 모델을 사용하여 방법을 검증하였으며, 다양한 환경 조건에서의 실제 환경 테스트를 수행하였다.

실험 결과

연구 질문

• RQ1 유연한 신경 렌더링 기법이 공격 패턴 생성을 위한 기울기 기반 최적화를 가능하게 하면서도 그림자, 반사 등의 사진 수준의 장면 특성을 유지할 수 있는가?
• RQ2 유연한 변환 네트워크(DTN)의 통합이 다양한 물리적 변형에 걸쳐 물리적 공격 패턴의 강건성과 이동성을 어떻게 향상시키는가?
• RQ3 제안된 DTA 프레임워크가 모의 환경과 실제 환경 모두에서 최신 객체 검출 모델을 얼마나 효과적으로 회피할 수 있는가?
• RQ4 DTN 기반의 렌더러는 기존의 전반적인 장면 수준의 현실감이 떨어지는 신경 렌더링 기법보다 물리적 공격에서 더 우수한 성능을 보일 수 있는가?
• RQ5 DTA를 통해 생성된 공격 패턴이 실제 인쇄되어 다양한 조명 조건과 시점에서의 실제 환경에 배치되었을 때도 효과를 유지할 수 있는가?

주요 결과

• CARLA 시뮬레이션에서 DTA는 EfficientDetD0에서 평균 AP@0.5가 0.34, YOLOv4에서 0.61를 기록하여 정상 텍스처 대비 검출 신뢰도를 크게 감소시켰다.
• 실제 3D 프린팅된 축소 모델인 테슬라 모델 3에 적용한 결과, DTA는 EfficientDetD0에서 AP@0.5를 0.34, YOLOv4에서 0.61로 낮춰 실제 구현에서도 성공적인 회피를 입증하였다.
• DTA 프레임워크는 UPC, DAS, CAMOU, ER 등의 기준 기법보다 공격 성공률과 이동성 측면에서 뛰어난 성능을 보였다.
• 이전의 신경 렌더링 기반 접근 방식에서 누락되었던 윈도우의 투명성과 그림자 투사와 같은 현실적인 시각 효과를 성공적으로 유지하였다.
• 실제 환경 평가 결과, 다양한 조명, 카메라 각도, 환경 조건에서도 공격 패턴이 효과를 유지함을 확인하여 강건성과 이동성을 입증하였다.
• DTN 모듈은 앞면과 배경 요소의 정확한 블렌딩을 가능하게 하여 이전 방법에서 정확하지 못하게 렌더링되었던 그림자와 반사를 정확히 재현하였다.