[논문 리뷰] Are Self-Driving Cars Secure? Evasion Attacks against Deep Neural Networks for Steering Angle Prediction

Alesia Chernikova, Alina Oprea외 2명|arXiv (Cornell University)|2019. 04. 15.

Adversarial Robustness in Machine Learning인용 수 12

한 줄 요약

이 논문은 자율주행 자동차의 조향 각도 예측을 위한 딥 뉴럴 네트워크가 최소한이면서 눈에 띄지 않는 이미지 편향을 사용한 회피 공격에 취약하다는 것을 입증한다. 칼린시 및 웨이거 방법에 기반한 적대적 공격를 적용함으로써 저자들은 $L_2$ 편향이 단지 0.82일 때에도 100%의 오분류 성공률를 달성했으며, 평균 제곱오차(MSE)를 최대 69배로 증가시켜 자율주행 차량의 인식 시스템에 심각한 보안 위험을 드러냈다.

ABSTRACT

Deep Neural Networks (DNNs) have tremendous potential in advancing the vision for self-driving cars. However, the security of DNN models in this context leads to major safety implications and needs to be better understood. We consider the case study of steering angle prediction from camera images, using the dataset from the 2014 Udacity challenge. We demonstrate for the first time adversarial testing-time attacks for this application for both classification and regression settings. We show that minor modifications to the camera image (an L2 distance of 0.82 for one of the considered models) result in mis-classification of an image to any class of attacker's choice. Furthermore, our regression attack results in a significant increase in Mean Square Error (MSE) by a factor of 69 in the worst case.

연구 동기 및 목표

• 자율주행 차량에서 사용되는 딥 뉴럴 네트워크의 보안 취약성을 조사하는 것, 특히 조향 각도 예측에 초점한다.
• 실시간 주행 환경에서 분류 및 회귀 모델에 대한 회피 공격의 실현 가능성과 영향을 평가하는 것.
• 작은, 눈에 띄지 않는 이미지 편향이 조향 각도 모델에서 심각한 오예측을 유도할 수 있음을 입증하는 것.
• 성공적인 공격를 위해 필요한 최소한의 편향을 정량화하고, MSE와 같은 모델 성능 지표의 열악해짐을 평가하는 것.
• 자율주행과 같은 안전 중심 응용 분야의 딥 러닝 시스템에 대해 강건성과 보안 강화의 긴급한 필요성을 강조하는 것.

제안 방법

• 2014년 Udacity 챌린지의 데이터셋을 사용하여, Carlini & Wagner의 회피 공격 프레임워크를 조향 각도 예측 작업에 적응시켰다.
• 이중 CNN 아키텍처인 Epoch 및 NVIDIA를 사용하여, 분류(조향 방향) 및 회귀(연속적인 조향 각도) 설정 모두에 공격를 적용했다.
• 편향 크기와 공격 성공률 사이의 균형을 맞추기 위해 이진 탐색을 사용하여 공격 하이퍼파라미터 $c$를 최적화했다.
• 공격 성공률은 편향의 $L_2$ 노름으로 측정하였으며, 성능 열악해짐은 평균 제곱오차(MSE) 지표로 평가했다.
• 목표 클래스 또는 원하는 회귀 출력에서의 이탈을 방지하는 손실 함수를 최소화하여 적대적 예제를 생성했다.
• 정상 입력 대비 적대적 예측의 성능을 비교하기 위해 ROC 곡선과 MSE 비율의 CDF를 사용하여 모델 성능을 평가했다.

실험 결과

연구 질문

• RQ1 최소한이면서 눈에 띄지 않는 이미지 편향을 사용하여 자율주행 차량의 조향 방향을 오분류할 수 있는 적대적 예제를 생성할 수 있는가?
• RQ2 $L_2$ 편향의 크기가 조향 각도 분류 모델에 대한 회피 공격의 성공률에 어떤 영향을 미치는가?
• RQ3 적대적 공격는 MSE 측정 기준으로 회귀 기반 조향 각도 예측 모델의 성능을 얼마나 떨어뜨리는가?
• RQ4 정상 입력 대비 적대적 예제에서 관찰된 MSE의 최대 증가 비율은 얼마인가?
• RQ5 예를 들어, Epoch 모델과 NVIDIA 모델 간의 서로 다른 모델 아키텍처는 적대적 공격에 대해 어떤 수준의 강건성을 보이는가?

주요 결과

• Epoch 모델의 경우, $L_2$ 편향이 단지 0.82일 때에도 조향 방향 오분류 공격의 성공률가 100%에 도달했다.
• NVIDIA 모델의 경우, $L_2$ 편향이 121.01로 더 높아져 더 복잡한 아키텍처로 인해 더 높은 강건성을 보이는 것으로 나타났다.
• 적대적 이미지 중 10%에 대해 MSE가 정상 입력 대비 20배 이상 증가했다.
• 적대적 예측과 정상 예측 간의 MSE 비율 최댓값은 69에 도달하여 심각한 성능 열악해짐을 시사했다.
• 분류 모델의 AUC는 공격 없이 1.0이었으나, $L_2$ 노름이 0.75일 경우 0.62로 떨어져 성능 저하가 뚜렷하게 나타났다.
• 적대적 이미지는 원본 이미지와 시각적으로 유사했으며, 유일한 변화는 미세한 픽셀 수준의 변화에 그쳐 공격의 은밀함을 확인했다.