[논문 리뷰] Generating Semantic Adversarial Examples with Differentiable Rendering

Lakshya Jain, Steven Chen외 5명|arXiv (Cornell University)|2019. 09. 25.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 8

한 줄 요약

이 논문은Differentiable Rendering와 Inverse Graphics를 활용하여 픽셀 수준의 노이즈가 아닌 의미적 환경(예: 하늘 상태 변경)을 변형함으로써 의미적 적대적 예제(SAEs)를 생성하는 새로운 방법을 제안한다. 이 방법은 여전히 딥 네트워크를 속이지만 더 자연스럽고 의미적으로 유의미한 변형을 가능하게 하여 표준 적대적 방어 기법을 효과적으로 회피함을 보여준다.

ABSTRACT

Machine learning (ML) algorithms, especially deep neural networks, have demonstrated success in several domains. However, several types of attacks have raised concerns about deploying ML in safety-critical domains, such as autonomous driving and security. An attacker perturbs a data point slightly in the concrete feature space (e.g., pixel space) and causes the ML algorithm to produce incorrect output (e.g. a perturbed stop sign is classified as a yield sign). These perturbed data points are called adversarial examples, and there are numerous algorithms in the literature for constructing adversarial examples and defending against them. In this paper we explore semantic adversarial examples (SAEs) where an attacker creates perturbations in the semantic space representing the environment that produces input for the ML model. For example, an attacker can change the background of the image to be cloudier to cause misclassification. We present an algorithm for constructing SAEs that uses recent advances in differential rendering and inverse graphics.

연구 동기 및 목표

• 자율주행과 같은 안전이 중요한 애플리케이션에서 기계 학습 모델의 적대적 공격에 대한 취약성을 해결하기 위해.
• 저수준의 픽셀 변형이 아닌 의미적 시점 속성(예: 날씨, 조명)을 수정하는 적대적 예제를 탐색하기 위해.
• Differentiable Rendering와 Inverse Graphics를 사용하여 현실적이고 의미적으로 유의미한 적대적 예제를 생성하는 방법을 개발하기 위해.
• 이러한 의미적 변형이 표준 적대적 강건성 방어 기법을 회피하는 데 얼마나 효과적인지 평가하기 위해.

제안 방법

• 렌더링 과정을 통해 기울기 계산이 가능하도록 Differentiable Rendering을 활용하여 모델 예측에서 의미적 시점 파라미터로의 역전파를 허용한다.
• Inverse Graphics를 사용하여 렌더링 시 원하는 모델 출력을 생성할 수 있는 시점 파라미터(예: 조명, 하늘 색상)를 추론한다.
• 입력 이미지를 잘못 분류하도록 만들 수 있도록 의미적 시점 속성(예: 구름 밀도, 환경 조명)을 최적화하여 적대적 예제를 생성한다.
• 의미적 변형을 위한 엔드 투 엔드 최적화를 가능하게 하기 위해 Differentiable Rendering 파이프라인을 신경망 분류기와 통합한다.
• 시뮬레이션된 이미지 생성을 위해 Differentiable Renderer를 사용하여 시점 파라미터에서부터 현실적인 이미지를 생성함으로써 변형이 시각적으로 타당함을 보장한다.
• 의미 공간에서의 변형을 최소화하면서 모델의 잘못 분류 손실을 최대화하기 위해 최적화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 Differentiable Rendering를 사용하여 날씨나 조명과 같은 고수준 시점 속성을 수정하는 의미적 적대적 예제를 생성할 수 있는가?
• RQ2 기존의 픽셀 수준의 적대적 공격에 비해 이러한 의미적 변형이 잘못 분류에 얼마나 효과적인가?
• RQ3 의미적 적대적 예제가 픽셀 공간의 변형을 대상으로 하는 표준 적대적 방어 기법을 얼마나 효과적으로 회피할 수 있는가?
• RQ4 생성된 의미적 적대적 예제는 얼마나 현실적이며, 인간의 시각적 인지에 얼마나 타당한가?

주요 결과

• 제안된 방법은 하늘 상태나 조명과 같은 고수준 시점 속성을 변경하는 의미적 적대적 예제를 성공적으로 생성하였다.
• 생성된 적대적 예제는 기존의 픽셀 기반 공격과 유사한 높은 속임당률을 보였으며, 딥 네트워크 분류기에서 높은 성능을 달성하였다.
• 의미적 적대적 예제는 픽셀 수준의 변형을 대상으로 하는 표준 적대적 방어 기법에 대해 더 높은 강건성을 보였다.
• 변형은 시각적으로 타당하고 의미적으로 유의미하여 시각적 검사로는 감지하기 어려웠다.