[논문 리뷰] Understanding the One-Pixel Attack: Propagation Maps and Locality Analysis

Danilo Vargas, Jiawei Su|arXiv (Cornell University)|2019. 02. 08.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 25

한 줄 요약

이 논문은 깊이 신경망을 통해 단일 픽셀의 변형이 어떻게 확산되는지 시각화하고 정량화하는 데 목적이 있는 새로운 기법인 전파 지도(Propagation Maps)를 소개한다. 이 분석을 통해 미세한 국소적 변화가 전역적으로 확산되어 최종 예측에 상당한 영향을 미칠 수 있음을 밝혀내었으며, 진정한 취약성은 개별 뉴런이나 픽셀이 아니라 공유된 수용 영역(receptive fields)에 있음을 설명한다. 이는 유사한 네트워크 아키텍처에서 단일 픽셀 공격이 높은 성공률을 기록할 수 있는 이유를 설명한다.

ABSTRACT

Deep neural networks were shown to be vulnerable to single pixel modifications. However, the reason behind such phenomena has never been elucidated. Here, we propose Propagation Maps which show the influence of the perturbation in each layer of the network. Propagation Maps reveal that even in extremely deep networks such as Resnet, modification in one pixel easily propagates until the last layer. In fact, this initial local perturbation is also shown to spread becoming a global one and reaching absolute difference values that are close to the maximum value of the original feature maps in a given layer. Moreover, we do a locality analysis in which we demonstrate that nearby pixels of the perturbed one in the one-pixel attack tend to share the same vulnerability, revealing that the main vulnerability lies in neither neurons nor pixels but receptive fields. Hopefully, the analysis conducted in this work together with a new technique called propagation maps shall shed light into the inner workings of other adversarial samples and be the basis of new defense systems to come.

연구 동기 및 목표

• 단일 픽셀 공격의 배경 메커니즘을 이해하기 위해, 매우 효과적이지만 잘 이해되지 않는 대비 공격의 원리를 밝히는 것.
• 단일 픽셀의 변형이 크기가 매우 작음에도 불구하고 깊이 신경망에서 오분류를 유도할 수 있는 이유를 탐구하는 것.
• 취약성이 뉴런, 픽셀, 또는 수용 영역과 같은 구조적 구성 요소 중 어디에 기인하는지 확인하는 것.
• 변형의 영향이 네트워크의 각 레이어를 통해 어떻게 전파되는지를 추적할 수 있는 새로운 시각화 기법을 개발하는 것.
• 변형 전파와 색소맵(saliency maps) 간의 관계를 탐색하고, 대비적 내성 안정성에 대한 새로운 가설을 제안하는 것.

제안 방법

• Propagation Maps (PMmax) 는 각 레이어에서 정상 입력과 변형된 입력의 활성화 맵 간 절대 차이를 측정하여 계산된다.
• 이 방법은 전방 전파를 이용해 단일 픽셀 변형이 모든 레이어에 걸쳐 활성화에 미치는 영향을 추적하며, 영향력의 크기와 공간적 확산을 드러낸다.
• 국소성 분석은 성공한 단일 픽셀 공격 위치의 인접 픽셀들에 동일한 변형 크기를 적용하여 성공률 유사성을 평가함으로써 수행된다.
• 성공 및 실패한 공격에 대해 전파 지도의 통계 분석을 수행하여 영향력 패턴을 비교한다.
• 관측된 전파 지도와 색소맵 간의 유사성에 기반해 '충돌하는 색소성 가설(Conflicting Salience Hypothesis)'을 제안하며, 이는 대비 예제가 주의 메커니즘을 방해할 수 있음을 시사한다.
• 전파 행동과 취약성 패tern을 검증하기 위해 ResNet 및 기타 깊이 신경망에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 단일 픽셀 변형은 깊이 신경망의 레이어를 어떻게 전파하며, 그 영향력은 증가하거나 감소하는가?
• RQ2 왜 단일 픽셀 공격은 매우 깊은 네트워크인 ResNet와 같은 아키텍처에서도 자주 성공하는가?
• RQ3 단일 픽셀 공격의 취약성은 특정 뉴런, 픽셀, 또는 수용 영역과 같은 구조적 구성 요소 중 어디에 기인하는가?
• RQ4 성공 및 실패한 공격가 전파 패턴이 영향력 크기와 분포 측면에서 유사한가?
• RQ5 충돌하는 색소성 가설이 제안한 바와 같이, 대비 변형의 행동은 주의 분산의 관점에서 이해될 수 있는가?

주요 결과

• 전파 지도는 단일 픽셀 변형이 영향력이 증가하고 활성화 맵 전반에 걸쳐 확산되어, 특정 레이어 내 최대 원래 활성화 값과 유사한 절대 차이를 보임을 드러낸다.
• ResNet와 같은 깊이 있는 네트워크에서도 단일 픽셀 변형의 영향력이 모든 레이어를 효과적으로 전파함으로써 강력한 신호 증폭과 확산이 일어남을 시사한다.
• 성공한 단일 픽셀 공격 위치의 인접 픽셀들 역시 유사한 높은 성공률을 보이며, 이는 취약성이 특정 픽셀이나 뉴런에 국한되지 않음을 시사한다.
• 분석 결과, 여러 모델 간 인접 픽셀들이 유사한 공격 성공률을 보이므로, 수용 영역(다수의 픽셀이 공유하는 영역)이 취약성의 주요 원천임을 확인한다.
• 성공 및 실패한 공격 모두 영향력 크기와 공간 분포 측면에서 놀랄 만큼 유사한 전파 패턴을 보이며, 이는 성공 여부가 영향력의 크기만으로 결정되지 않음을 시사한다.
• 전파 지도와 색소맵 간의 관측된 유사성에 기반해 '충돌하는 색소성 가설'이 지지되며, 이는 대비 예제가 모순되는 색소 신호를 만들어내어 주의 메커니즘을 방해할 수 있음을 시사한다.