[논문 리뷰] Adversarial Examples for Semantic Image Segmentation

Volker Fischer, Mummadi Chaithanya Kumar외 2명|arXiv (Cornell University)|2017. 03. 03.

Adversarial Robustness in Machine Learning참고 문헌 6인용 수 54

한 줄 요약

본 논문은 적대적 예제를 시맨틱 세분화에 적용하여, 지각할 수 없는 섭동으로 선택된 클래스(예: 사람)의 거의 모든 픽셀을 은폐하고 나머지 이미지를 보존하는 현상을 보여준다. 또한 공격자의 전이 가능성과 공격 효과를 측정하는 지표를 제시한다.

ABSTRACT

Machine learning methods in general and Deep Neural Networks in particular have shown to be vulnerable to adversarial perturbations. So far this phenomenon has mainly been studied in the context of whole-image classification. In this contribution, we analyse how adversarial perturbations can affect the task of semantic segmentation. We show how existing adversarial attackers can be transferred to this task and that it is possible to create imperceptible adversarial perturbations that lead a deep network to misclassify almost all pixels of a chosen class while leaving network prediction nearly unchanged outside this class.

연구 동기 및 목표

• 이미지 분류를 넘어 시맨틱 세분화에서의 적대적 섭동을 동기 부여하고 연구한다.
• 시맨틱 세분화 모델에의 적대적 섭동 전이성을 입증한다.
• 시맨틱 세분화에 대한 적대적 타깃(target)을 정의하고 실제 데이터 세트에서의 효과를 정량화한다.
• 섭동이 픽셀 수준의 클래스 예측에 미치는 영향을 평가하고 공격 성공의 지표를 제공한다.

제안 방법

• 시맨틱 세분화를 위한 완전 연결 신경망(Fully Convolutional Network, FCN8, VGG16 백본)을 사용한다.
• 지정된 타깃 클래스로 예측을 바꾸는 타깃 섭동을 만들기 위해 가장 가능성이 낮은(least likely) 적대적 방법을 채택한다.
• 선택된 클래스의 모든 픽셀을 가장 가까운 비타깃 이웃의 클래스와 교체하여 픽셀 수준에서 적대적 타깃을 정의하고, 다른 픽셀은 그대로 두는다.
• 최대 epsilon까지 클리프된 l-무한 제약 하에 섭동을 반복적으로 업데이트한다, xi^(n+1)=Clip_epsilon{xi^(n) - alpha * sgn(∇_x J_cls(f_theta(x+xi^(n)), y_target))} 이때 alpha=1.
• Cityscapes에서 섭동을 평가하고 속았다고 판단된 타깃 클래스 픽셀의 비율과 배경의 보존 비율을 측정한다.
• 타깃 클래스 픽셀에만 섭동을 적용하는 제한 조건을 탐구한다.

실험 결과

연구 질문

• RQ1 표준적대적 섭동 방법이 시맨틱 세분화 작업으로 전이될 수 있는가?
• RQ2 섹션에서 타깃 클래스의 픽셀 단위 예측을 속일 때 지각할 수 없는 섭동의 효과는 어느 정도인가?
• RQ3 섭동을 특정 클래스(예: 사람 픽셀)로 제한하면 공격 효과에 어떤 영향을 미치는가?
• RQ4 시맨틱 세분화에서 적대적 공격의 성공을 가장 잘 포착하는 지표는 무엇인가?

주요 결과

• 적대적 섭동은 타깃 클래스(예: 사람)의 상당 부분을 잘못 분류하게 만드는 동시에 대부분의 배경 영역은 보존될 수 있다.
• epsilon ≈ 10일 때 전체 이미지에 섭동을 적용하면 사람 픽셀의 85% 이상이 숨겨지고 배경 픽셀의 97% 이상이 보존된다.
• 섭동을 사람 픽셀에만 제한하면 작은 epsilon에서 속인 픽셀 수가 줄지만 배경 보존은 여전히 높고 더 큰 epsilon에서 향상된다.
• 섭동은 시각적으로 탐지되기 어려운 경우가 많다.
• 이 접근법은 변형되지 않은 이미지에서 네트워크의 자체 예측으로부터 도출된 타깃을 사용해 효과를 측정한다.