[논문 리뷰] Adversarial Attacks Beyond the Image Space

Xiaohui Zeng, Chenxi Liu외 6명|arXiv (Cornell University)|2017. 11. 20.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 11

한 줄 요약

이 논문은 2D 이미지의 픽셀 수준의 변형이 아닌, 표면 법선, 조명, 재질과 같은 3D 물리적 성질을 대상으로 하는 적대적 공격을 제안한다. 다양한 기계학습 네트워크에 미분 가능 또는 비미분 가능 렌더러를 통합함으로써, 저자들은 물리적 공간에서 성공적인 공격가능성을 입증하였지만, 이미지 공간 공격에 비해 훨씬 더 무거운 변형과 낮은 성공률을 필요로 한다.

ABSTRACT

Generating adversarial examples is an intriguing problem and an important way of understanding the working mechanism of deep neural networks. Most existing approaches generated perturbations in the image space, i.e., each pixel can be modified independently. However, in this paper we pay special attention to the subset of adversarial examples that correspond to meaningful changes in 3D physical properties (like rotation and translation, illumination condition, etc.). These adversaries arguably pose a more serious concern, as they demonstrate the possibility of causing neural network failure by easy perturbations of real-world 3D objects and scenes. In the contexts of object classification and visual question answering, we augment state-of-the-art deep neural networks that receive 2D input images with a rendering module (either differentiable or not) in front, so that a 3D scene (in the physical space) is rendered into a 2D image (in the image space), and then mapped to a prediction (in the output space). The adversarial perturbations can now go beyond the image space, and have clear meanings in the 3D physical world. Though image-space adversaries can be interpreted as per-pixel albedo change, we verify that they cannot be well explained along these physically meaningful dimensions, which often have a non-local effect. But it is still possible to successfully attack beyond the image space on the physical space, though this is more difficult than image-space attacks, reflected in lower success rates and heavier perturbations required.

연구 동기 및 목표

• 딥 네트워크가 2D 이미지 픽셀이 아닌 3D 물리적 시나리오 파라미터에 직접 적용될 때도 여전히 적대적 변형에 취약한지 조사하는 것.
• 렌더링 모듈을 통해 3D 물리적 파라미터(예: 조명, 재질, 법선)를 2D 이미지 출력으로 연결하는 프레임워크를 개발하여 물리적 공간에서 기울기 기반 공격를 가능하게 하는 것.
• 물체 분류 및 시각적 질문 응답 작업에서 이러한 공격의 실현 가능성과 강건성 평가.
• 특히 이미지 공간 변형을 중화시키기 위해 적대적 입력을 재렌더링하는 방식으로 방어 기법에 대한 영향 탐색.

제안 방법

• 최신 딥 네트워크 이전에 미분 가능 또는 비미분 가능 렌더링 모듈을 통합하여 3D 물리적 파라미터를 2D 이미지 출력으로 매핑하는 것.
• 미분 가능 렌더링에 대해서는 반복적 기울기 기반 공격 기법(Fast Gradient Sign Method, FGSM)을, 비미분 가능 렌더링에 대해서는 제로계수 최적화(Zeroth-Order Optimization, ZOO)를 사용하여 공격 수행.
• 시각적 불가촉성을 확보하기 위해 이미지 강도 공간에서 변형을 제약 조건에 둠(퍼셉추얼 메트릭 p로 측정).
• 목표 클래스의 손실을 최대화하면서 시각적 왜곡을 최소화하기 위해 물리적 파라미터(예: 표면 법선, 조명, 재질)를 최적화.
• 공격이 시각 모델의 내부 구조에 대한 액세스 없이도 가능하도록 블랙박스 설정을 사용하며, 최종 예측 결과만 필요로 함.
• 두 가지 벤치마크를 통해 접근 방식을 검증: 3D 물체 분류에 대한 ShapeNet과 시각적 질문 응답에 대한 CLEVR.

실험 결과

연구 질문

• RQ1 2D 이미지 픽셀이 아닌 3D 물리적 파라미터(예: 조명, 재질, 표면 법선)를 변형하여 적대적 예제를 성공적으로 생성할 수 있는가?
• RQ2 물리적 공간 공격의 성공률와 필요로 하는 변형 크기의 크기는 기존 이미지 공간 공격에 비해 어떻게 비교되는가?
• RQ3 물리적 공간 공격자가 의미 있는 3D 시나리오 변화(예: 물체의 회전 또는 조명 이동)로 해석될 수 있는가?
• RQ4 질문의 내용이나 답변을 사전에 알지 못해도, 공격 전략이 모델의 약점을(예: 색상 의존성) 자동으로 악용할 수 있는가?
• RQ5 물리적 공간에서 적대적 입력을 재렌더링하는 방식이 이미지 공간 적대적 예제에 대한 방어 수단으로 기능할 수 있는가?

주요 결과

• 물리적 공간 공격은 가능하지만 이미지 공간 공격에 비해 훨씬 더 어려우며, 비미분 가능 렌더링을 사용할 경우 CLEVR에서 100개의 타겟 중 22개의 성공 공격에 그치지만, 이미지 공간 공격에서는 100개 중 66개의 성공 공격를 기록함.
• 물리적 공간 공격의 성공률는 낮고, 오류 분류를 달성하기 위해 상당히 무거운 변형이 필요함을 시사하며, 물리적 파라미터 공간에서의 강건성이 더 높음을 나타냄.
• 이미지 공간 적대적 예제는 의미 있는 3D 물리적 변화(예: 회전 또는 조명 이동)로 잘 설명되지 않아, 물리적으로 실현 가능하지 않음을 시사함.
• 사전 질문 정보 없이도 블랙박스 공격임에도 불구하고, 질문에 답할 때 색상과 같은 가장 취약한 특징을 자동으로 공격함을 확인함.
• 분석-합성 접근 방식(물리적 변형을 재렌더링)은 이미지 공간 적대적 예제를 중화시킬 수 있으며, 물리적 해석 기반 새로운 방어 전략을 제안함.
• 시각적 질문 응답 작업에서 재질 파라미터에 대한 공격는 시각적 불가촉성 제약 조건으로 인해 다른 물리적 파라미터와 유사한 성공률를 보이며, 유의미한 차이가 없음.