[논문 리뷰] Projecting Trouble: Light Based Adversarial Attacks on Deep Learning Classifiers

Nicole Nichols, Robert Jasper|arXiv (Cornell University)|2018. 10. 16.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 11

한 줄 요약

이 논문은 물체에 영구적인 수정을 가하지 않고도, 투사된 빛 패턴을 사용하여 딥러닝 이미지 분류기 대상으로 동적이고 물리적인 적대적 공격을 제안한다. 미분 진화를 사용해 빛 투사 패턴을 최적화함으로써, 2D CIFAR-10 이미지의 분류 정확도를 98%에서 22%로 감소시키고, 3D 물체의 경우 89%에서 43%로 낮추어, 일시적이고 빛 기반의 적대적 조작이 실제 환경에서 구현 가능하다는 것을 입증한다.

ABSTRACT

This work demonstrates a physical attack on a deep learning image classification system using projected light onto a physical scene. Prior work is dominated by techniques for creating adversarial examples which directly manipulate the digital input of the classifier. Such an attack is limited to scenarios where the adversary can directly update the inputs to the classifier. This could happen by intercepting and modifying the inputs to an online API such as Clarifai or Cloud Vision. Such limitations have led to a vein of research around physical attacks where objects are constructed to be inherently adversarial or adversarial modifications are added to cause misclassification. Our work differs from other physical attacks in that we can cause misclassification dynamically without altering physical objects in a permanent way. We construct an experimental setup which includes a light projection source, an object for classification, and a camera to capture the scene. Experiments are conducted against 2D and 3D objects from CIFAR-10. Initial tests show projected light patterns selected via differential evolution could degrade classification from 98% to 22% and 89% to 43% probability for 2D and 3D targets respectively. Subsequent experiments explore sensitivity to physical setup and compare two additional baseline conditions for all 10 CIFAR classes. Some physical targets are more susceptible to perturbation. Simple attacks show near equivalent success, and 6 of the 10 classes were disrupted by light.

연구 동기 및 목표

• 물체에 영구적인 수정을 가하지 않고도, 투사된 빛을 사용해 딥러닝 분류기를 동적으로 조작하는 물리적 적대적 공격을 개발하는 것.
• 최소한의 조명 제어 조건에서 실제 환경에서의 빛 기반 공격의 효과를 평가하는 것.
• 다양한 물체 클래스와 물리적 설정 파라미터가 빛 기반 적대적 편향에 얼마나 민감한지 조사하는 것.
• 기준 조건과의 비교를 통해 빛 기반 공격의 성공률을 평가하고, 10개의 CIFAR-10 클래스 간 전이 가능성(transferability)을 분석하는 것.
• 실시간 피드백과 최적화를 활용해 물리적 환경에서 효과적인 적대적 빛 패턴을 생성하는 가능성 탐색

제안 방법

• 실제 환경의 2D 및 3D 물체에 최적화된 빛 패턴을 투사함으로써, 물리적 장면에서 빛 패턴을 적용하는 방법을 사용함.
• 전역 최적화 알고리즘인 미분 진화(Differential Evolution, DE)를 사용해, 오분류를 극대화하는 빛 패턴을 반복적으로 개선함.
• 최적화 루프의 실시간 피드백을 확보하기 위해 웹캠으로 장면을 촬영함으로써, 동적 적응이 가능하도록 함.
• 조절된 환경이지만 비이상적인 조명 조건에서, CIFAR-10 데이터셋의 2D 인쇄 이미지와 3D 인형에 공격을 적용함.
• 빛 투사 전후의 분류기 신뢰도 점수를 측정하여, 적대적 편향의 성공 여부를 평가함.
• 투사되지 않은 장면과 무작위 빛 패턴을 포함한 기준 조건과의 비교를 위한 분석 연구를 수행함.

실험 결과

연구 질문

• RQ1 물체의 물리적 수정 없이도, 투사된 빛 패턴을 사용해 딥러닝 이미지 분류기의 오분류를 동적으로 유도할 수 있는가?
• RQ2 디지털 또는 인쇄된 적대적 예제와 비교해, 실제 환경에서의 비제어적 환경에서 빛 기반 적대적 공격의 효과는 어떠한가?
• RQ3 어떤 물체 클래스가 빛 기반 적대적 공격에 가장 취약한가? 이에 기여하는 물리적 또는 시각적 특성은 무엇인가?
• RQ4 카메라 설정, 조명 각도, 프로젝터 강도의 변화가 빛 기반 공격의 성공에 어떤 영향을 미치는가?
• RQ5 어떤 정도로 적대적 빛 패턴이 다양한 물체 자세, 방향 또는 분류기 아키텍처 간에 전이되는가?

주요 결과

• 빛 기반 적대적 공격은 2D CIFAR-10 이미지의 상위-1 분류 정확도를 98%에서 22%로 감소시켜, 모델의 신뢰도가 크게 낮아졌음을 입증함.
• 3D 물체의 경우, 정답 클래스(자동차)의 신뢰도가 89%에서 43%로 감소하였고, 모델은 '트럭'으로 57% 확률로 예측함.
• 10개의 CIFAR-10 클래스 중 6개가 빛 기반 공격에 의해 성공적으로 혼란스럽게 되었으며, 이는 광범위한 취약성을 보여주지만, 전반적인 취약성은 아님.
• 장면의 배경에 단일 픽셀의 빛 투사조차도 분류기 예측을 크게 변화시킬 수 있었으며, 이는 딥 모델이 국소화된 편향에 매우 민감함을 시사함.
• 카메라 노이즈, 색상 균형 이동, 표면 질감에 의한 반사의 변동성과 같은 실제 환경 제약에도 불구하고 공격의 효과성이 유지됨.
• 공격 성공이 물체의 크기나 위치에만 의존하지 않으며, 큰 물체인 트럭조차도 취약함을 보여, 시각적 복잡성과 모델 편향이 핵심 역할을 함을 시사함.