[논문 리뷰] MeshAdv: Adversarial Meshes for Visual Recognition

Chaowei Xiao, Dawei Yang외 3명|arXiv (Cornell University)|2018. 10. 11.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 6

한 줄 요약

이 논문은 다양한 렌더링 조건에서 효과적인 공격을 가능하게 하며, 물리적으로 실현 가능한 악성 3D 메시를 생성하기 위해 기하형상과 텍스처를 다르게 렌더링하는 방법인 MeshAdv를 제안한다. 이는 다양한 시점에서 분류기 및 객체 검출기 모델에 대해 높은 공격 성공률를 달성하며, 알려지지 않은 렌더링 파라미터를 가진 블랙박스, 비가역 렌더러로도 효과적으로 전이된다.

ABSTRACT

Highly expressive models such as deep neural networks (DNNs) have been widely applied to various applications. However, recent studies show that DNNs are vulnerable to adversarial examples, which are carefully crafted inputs aiming to mislead the predictions. Currently, the majority of these studies have focused on perturbation added to image pixels, while such manipulation is not physically realistic. Some works have tried to overcome this limitation by attaching printable 2D patches or painting patterns onto surfaces, but can be potentially defended because 3D shape features are intact. In this paper, we propose meshAdv to generate "adversarial 3D meshes" from objects that have rich shape features but minimal textural variation. To manipulate the shape or texture of the objects, we make use of a differentiable renderer to compute accurate shading on the shape and propagate the gradient. Extensive experiments show that the generated 3D meshes are effective in attacking both classifiers and object detectors. We evaluate the attack under different viewpoints. In addition, we design a pipeline to perform black-box attack on a photorealistic renderer with unknown rendering parameters.

연구 동기 및 목표

• 텍스처가 아닌 3D 객체 형상을 조작함으로써 실제 세계 적용이 가능한 물리적으로 현실적인 악성 공격 방법을 개발한다.
• 텍스처 기반의 악성 패치의 한계를 해결한다. 이는 텍스처가 없는 물체에서는 감지 가능하며, 방어 메커니즘에 취약하기 때문이다.
• 렌더링 파라미터가 알려지지 않은 블랙박스 설정에서 카메라 및 조명 조건을 추정함으로써, 비가역적이고 포괄적인 렌더러에 대한 공격을 가능하게 한다.
• 형상의 변형만으로도 최신 DNN 모델이 시각 인식 작업에서 효과적으로 속임을 입증한다.
• 형상 기반의 변형을 시각화하여 메시의 취약 영역를 파악함으로써 모델의 강건성 향상에 기여한다.

제안 방법

• NMR(Neural Mesh Renderer)라는 가시화 기반의 가역 렌더러를 활용하여 그림자 효과를 계산하고, DNN 출력에서 메시 기하학적 형상과 텍스처로 기울기 역전파를 수행한다.
• DNN 분류기나 검출기의 잘못된 분류를 목표로 하는 손실 함수를 사용하여 기하형상과 텍스처를 기울기 기반 최적화로 최적화한다.
• 다중 시점 최적화를 통해 다양한 카메라 시점에서의 공격 성공률를 향상시킨다.
• 블랙박스 환경에서 강건성을 높이기 위해, 최적화 및 무작위 변형을 사용하여 알려지지 않은 카메라 및 조명 파라미터를 추정한다.
• 최적화된 메시를 추정된 파라미터로 재렌더링하여, 비가역적이고 사실적인 렌더러(Mitsuba 등)로 악성 메시를 전이한다.
• 사용자 연구를 통해 변형이 인간 관찰자에게 인식되지 않는다는 것을 검증한다.

실험 결과

연구 질문

• RQ1 텍스처가 아닌 형상을 변형함으로써, 텍스처가 없는 물체에서도 3D 메시에 대해 효과적인 악성 공격를 수행할 수 있는가?
• RQ2 다양한 카메라 시점에서 형상 기반의 악성 메시가 DNN에 얼마나 효과적으로 공격하는가?
• RQ3 가역 렌더러에서 생성된 악성 메시가 렌더링 파라미터가 알려지지 않은 블랙박스, 비가역적 사실 렌더러로 성공적으로 전이되는가?
• RQ4 형상 변형에 가장 민감한 3D 메시의 취약 영역는 어디인가?
• RQ5 생성된 악성 변형은 인간 관찰자에게 얼마나 인식 가능한가?

주요 결과

• MeshAdv는 객체 분류 작업에서 Inception-v3에 대해 최대 83.3%의 무타겟 공격 성공률를 기록하였으며, 여러 클래스 평균 성공률는 60.9%였다.
• 타겟 공격의 경우, '비행기' 클래스를 공격할 때 Inception-v3에서 67.1%의 성공률를 기록하여 모델 간 전이성(transferability)을 입증하였다.
• 메시를 포괄적인 렌더러인 Mitsuba로 전이하여, 알려지지 않은 조명 및 카메라 조건에서 여객기 모양을 '해머헤드'로 잘못 분류하는 데 성공하였다.
• 객체 검출 작업에서는 Mitsuba로 렌더링했을 때 장면의 왼쪽에 있는 의자를 악성 메시로 숨기는 데 성공하여, 실제 세계에서의 탐지 회피 능력을 입증하였다.
• 사용자 연구 결과, 변형이 인간 관찰자에게 인식되지 않음을 확인하여 물리적 현실성과 침투성(stealthiness)을 검증하였다.
• 형상 기반 변형의 시각화를 통해 특정 취약 영역를 파악하였으며, 기하학적 변형에 대한 모델의 강건성 향상에 기여할 수 있는 통찰을 제공하였다.