[논문 리뷰] Using Depth for Pixel-Wise Detection of Adversarial Attacks in Crowd Counting

Weizhe Liu, Mathieu Salzmann외 1명|arXiv (Cornell University)|2019. 11. 26.

Anomaly Detection Techniques and Applications참고 문헌 75인용 수 7

한 줄 요약

이 논문은 이중 스트림 딥 네트워크에서 보조 신호로 깊이 추정을 활용하여 군중 수세기에서 픽셀 단위의 적대적 공격 탐지 방법을 제안한다. 군중 밀도와 환경 깊이를 동시에 회귀하도록 모델을 훈련시켜, 깊이 예측의 일관성 결여를 통해 변조된 픽셀을 탐지함으로써, 작은 변형 조차도 90% 이상의 탐지 정확도를 달성하며, 노출되지 않은 공격과 폭로된 공격 모두에 대해 강건함을 유지한다.

ABSTRACT

State-of-the-art methods for counting people in crowded scenes rely on deep networks to estimate crowd density. While effective, deep learning approaches are vulnerable to adversarial attacks, which, in a crowd-counting context, can lead to serious security issues. However, attack and defense mechanisms have been virtually unexplored in regression tasks, let alone for crowd density estimation. In this paper, we investigate the effectiveness of existing attack strategies on crowd-counting networks, and introduce a simple yet effective pixel-wise detection mechanism. It builds on the intuition that, when attacking a multitask network, in our case estimating crowd density and scene depth, both outputs will be perturbed, and thus the second one can be used for detection purposes. We will demonstrate that this significantly outperforms heuristic and uncertainty-based strategies.

연구 동기 및 목표

• 딥 러닝 기반 군중 수세기에서 적대적 공격에 대한 방어 메커니즘이 부족한 문제를 해결하기 위해, 적대적 보안 분야에서 거의 탐색되지 않은 회귀 작업에 초점을 맞춘다.
• 불확실성 또는 히وري스틱 기반 방법에 의존하지 않고도 적대적 예외를 식별할 수 있는 강력한 픽셀 단위 탐지 기반 메커니즘을 개발한다.
• 다중 작업 학습, 특히 군중 밀도와 환경 깊이의 공동 추정을 활용하여, 공격자가 피하기 어려운 탐지 신호를 생성한다.
• 공격자가 탐지기의 존재를 모른다는 조건(노출되지 않은 공격)과 공격자가 탐지기와 기준 깊이 맵에 접근할 수 있다는 조건(폭로된 공격) 모두에 대해 강건성을 확보한다.

제안 방법

• 공동 백본과 작업별 헤드를 사용하여 군중 밀도와 환경 깊이를 동시에 회귀하는 이중 스트림 딥 네트워크를 훈련한다.
• 깊이 센서, 기하학적 사전 지식, 또는 사전 훈련된 깊이 모델로부터 확보한 기준 깊이 맵을 사용하여 변조된 입력에서의 일관성 결여를 탐지한다.
• 예측된 깊이와 기준 깊이 간의 픽셀 단위의 이탈을 기반으로 훼손 지표를 정의하고, 임계값 전략을 사용해 의심스러운 픽셀을 표시한다.
• 밀도 헤드에 기울기 기반 적대적 공격(FGSM 등)을 적용하면서 깊이 예측의 이질성을 모니터링한다.
• 탐지 성능과 모델 정확도의 균형을 맞추기 위해 하이퍼파rameter λ를 포함한 손실 항목을 도입하여 깊이 예측의 안정성을 높인다.
• 공격 강도에 따라 탐지 정확도와 회귀 오차를 측정하기 위해 mIoU, DMAE, RMSE, ZMAE를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 군중 밀도와 환경 깊이의 공동 추정이 회귀 기반 군중 수세기에서 픽셀 단위의 적대적 공격 탐지에 신뢰할 수 있는 신호로 기능할 수 있는가?
• RQ2 공격자가 탐지 메커니즘을 완전히 알고 있는 조건(폭로된 공격)에서 제안된 방법의 효과는 어떠한가?
• RQ3 변형 강도(ε)와 임계값 전략이 탐지 성능에 미치는 영향은 무엇인가?
• RQ4 공격자가 기준 깊이 맵에 접근할 수 있을 경우에도 이 방법이 높은 탐지 정확도를 유지할 수 있는가?
• RQ5 깊이 정규화 강도(λ)의 강도에 따라 탐지 강건성과 회귀 정확도 사이의 트레이드오프는 어떻게 변화하는가?

주요 결과

• 제안된 방법은 매우 작은 변형(β = 0.01) 조차도 90% 이상의 픽셀 단위 탐지 정확도를 달성하며, 변형 강도가 증가할수록 성능이 급격히 향상된다.
• 폭로된 공격 조건에서도 탐지 성능이 우수한데, 이는 동시에 두 출력을 일관되게 조작하기 어려운 점 때문이며, 공격자가 밀도 네트워크와 기준 깊이 맵에 접근하더라도 탐지가 유지됨을 의미한다.
• ShanghaiTechRGBD 데이터셋에서 공격 강도 ε = 1.0일 때 평균 교차율(mIoU)이 0.52로 나타나며, ε = 19.0일 땐 0.58로 상승하여 공격 강도에 대한 민감도가 높음을 보여준다.
• 훼손 픽셀을 분류하기 위한 최적의 임계값은 5%이며, 이는 모든 데이터셋과 공격 유형에서 최고의 mIoU 성능을 낳는다.
• 깊이 정규화 하이퍼파rameter λ를 증가시킬수록 탐지 정확도와 밀도 추정 오차가 모두 감소함을 확인하여, 강건성과 모델 성능 사이의 트레이드오프가 존재함을 입증한다.
• ShanghaiTechRGBD, MICC, Venice 등 여러 벤치마크 데이터셋을 통해 히وري스틱 및 불확실성 기반 탐지 전략보다 뚜렷이 뛰어난 성능을 보이며, 제안된 방법의 우수성을 입증한다.