[논문 리뷰] Foveation-based Mechanisms Alleviate Adversarial Examples

Yan Luo, Xavier Boix외 3명|arXiv (Cornell University)|2015. 11. 19.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 138

한 줄 요약

이 논문은 인식된 물체 주변에서 CNN의 국소적 선형성과 물체 크기/이동 변화에 대한 내성에 기반하여, 복소 신경망(CNN)에서 적대적 예측을 완화하기 위해 초점화 기반 메커니즘을 제안한다. 초점화된 영역(foveated patches)에 CNN를 적용함으로써, 적대적 편향의 영향을 줄여, 조작된 초점화를 악용하도록 설계된 편향조차도 자연스러운 수준에 가까운 분류 정확도로 복원한다. 미세한 편향 조건에서 ImageNet에서 30–40%의 정확도 향상을 보이며, 재학습 없이도 효과적인 방어 전략을 제안한다.

ABSTRACT

We show that adversarial examples, i.e., the visually imperceptible perturbations that result in Convolutional Neural Networks (CNNs) fail, can be alleviated with a mechanism based on foveations---applying the CNN in different image regions. To see this, first, we report results in ImageNet that lead to a revision of the hypothesis that adversarial perturbations are a consequence of CNNs acting as a linear classifier: CNNs act locally linearly to changes in the image regions with objects recognized by the CNN, and in other regions the CNN may act non-linearly. Then, we corroborate that when the neural responses are linear, applying the foveation mechanism to the adversarial example tends to significantly reduce the effect of the perturbation. This is because, hypothetically, the CNNs for ImageNet are robust to changes of scale and translation of the object produced by the foveation, but this property does not generalize to transformations of the perturbation. As a result, the accuracy after a foveation is almost the same as the accuracy of the CNN without the adversarial perturbation, even if the adversarial perturbation is calculated taking into account a foveation.

연구 동기 및 목표

• CNN가 전역적으로 선형 분류기로 작용한다는 일반적인 가설을 도전하며, 이는 적대적 예측을 설명하는 데 기여한다고 여겨진다.
• 초점화—지역화된 이미지 영역에 대한 CNN 추론 집중—이 적대적 편향을 완화할 수 있는지 조사한다.
• CNN의 물체 변형(크기, 이동)에 대한 내성은 적대적 편향으로까지 일반화되는가?
• 적대적 예측이 초점화 메커니즘을 악용하도록 설계된 경우에도 초점화가 분류 정확도를 복원할 수 있는가?
• 재학습 없이도 초점화 기반의 후행적이고 적대적 학습이 아닌 방어 전략을 제안한다.

제안 방법

• 이 방법은 전이 학습된 CNN(AlexNet, GoogLeNet, VGG)을 이미지의 전체 영역이 아닌 국소적 영역(foveated regions)에만 적용하며, 나머지 영역은 버린다.
• 초점화 영역은 물체 크기(정답 경계 상자), 시각적 주목도 지도, 또는 이동된 크기로 선택하여 눈의 초점을 시뮬레이션한다.
• 적대적 예측은 BFGS 및 기호 기반 최적화를 사용하여 최소 L2 노름을 갖도록 생성하고, 다양한 초점화 전략에서 테스트한다.
• 분류 점수는 청소년 물체와 편향의 기여도로 분해되며, 초점화로 인해 물체가 고립되어 편향의 영향이 감소한다.
• 이 접근법은 인식된 물체 주변에서 CNN의 국소적 선형성을 가정하며, 편향 변환에 대한 불변성이 없기 때문에 초점화 후 편향의 영향력이 감소한다.
• 다양한 초점화 전략(예: 1-shift, 내장형, 시각적 주목도 기반)을 테스트하여 적대적 생성에 대한 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 전역적으로 비선형처럼 보이는 경우에도, 인식된 물체 주변에서 CNN의 행동은 여전히 국소적으로 선형적인가?
• RQ2 초점화 기반 메커니즘이 CNN의 물체 크기 및 이동에 대한 불변성을 활용하여 적대적 편향의 영향을 줄일 수 있는가?
• RQ3 CNN의 물체 변형에 대한 내성은 적대적 편향으로까지 일반화되는가, 아니면 편향이 여전히 초점화 조건에서도 효과를 발휘하는가?
• RQ4 적대적 예측 생성에 사용된 전략과 다른 초점화 전략이라도 분류 정확도를 복원할 수 있는가?
• RQ5 적대적 예측이 초점화에 저항하도록 설계된 경우에도 초점화가 효과를 발휘하는가? 이는 잠재적 방어 수단을 시사한다.

주요 결과

• 비차별적인 편향 조건에서 ImageNet에서 초점화는 적대적 예측의 정확도 저하를 30–40% 감소시켜, 청소년 이미지 정확도 수준에 가까운 성능을 회복한다.
• BFGS로 생성된 편향의 경우, 초점화 후 오분류를 유도하기 위해 약 5배 이상의 노름 증가가 필요하며, 이는 강력한 내성성을 시사한다.
• 기호 기반 편향의 경우, 초점화 후 필요한 노름 증가는 5배에서 8배 사이로, 이는 방법의 효과성을 추가로 확인한다.
• 물체 크기 기반 초점화를 악용하도록 설계된 적대적 예측(MP-Object)도, 다른 초점화 전략(예: 1 Shift, 내장형)을 통해 완화되며, 정확도가 최대 10% 향상된다.
• 이 방법은 AlexNet, GoogLeNet, VGG 등 여러 CNN 아키텍처에서 효과를 보이며, 단일 모델을 초월한 일반화성을 보여준다.
• 물체 크기 기반 초점화 후 상위 5위 정확도는 AlexNet에서 0.8192, GoogLeNet에서 0.8939, VGG에서 0.9122를 기록하며, 적대적 조건에서 초점화 이전의 0.0048, 0.0104, 0.0055 정확도보다 크게 향상되었다.