[논문 리뷰] Analysis of Deep Networks for Monocular Depth Estimation Through Adversarial Attacks with Proposal of a Defense Method

Junjie Hu, Takayuki Okatani|arXiv (Cornell University)|2019. 11. 20.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 12

한 줄 요약

이 논문은 단안 심도 추정(MDE) 컨볼루션 네트워크(CNN)에 대한 적대적 공격에 대비하여, 정합도 지도 예측기로 비핵심 픽셀을 마스킹하는 방식을 제안한다. 이 방법은 적대적 훈련을 통해 훈련된 강건한 정합도 네트워크를 활용하여 핵심 이미지 영역을 식별함으로써, IFGSM 공격 하에서 심도 추정 오차를 RMSE 1.778에서 0.655로 감소시킨다. 이는 공격가 주로 비핵심 픽셀을 악용한다는 것을 드러낸다.

ABSTRACT

In this paper, we consider adversarial attacks against a system of monocular depth estimation (MDE) based on convolutional neural networks (CNNs). The motivation is two-fold. One is to study the security of MDE systems, which has not been actively considered in the community. The other is to improve our understanding of the computational mechanism of CNNs performing MDE. Toward this end, we apply the method recently proposed for visualization of MDE to defending attacks. It trains another CNN to predict a saliency map from an input image, such that the CNN for MDE continues to accurately estimate the depth map from the image with its non-salient part masked out. We report the following findings. First, unsurprisingly, attacks by IFGSM (or equivalently PGD) succeed in making the CNNs yield inaccurate depth estimates. Second, the attacks can be defended by masking out non-salient pixels, indicating that the attacks function by perturbing mostly non-salient pixels. However, the prediction of saliency maps is itself vulnerable to the attacks, even though it is not the direct target of the attacks. We show that the attacks can be defended by using a saliency map predicted by a CNN trained to be robust to the attacks. These results provide an effective defense method as well as a clue to understanding the computational mechanism of CNNs for MDE.

연구 동기 및 목표

• 단안 심도 추정(MDE) 시스템의 보안 취약성을 딥 CNN 기반으로 조사한다.
• 적대적 예외를 분석함으로써 CNN이 MDE에서 사용하는 계산적 메커니즘을 이해한다.
• 심도 추정 정확도를 유지하면서 적대적 공격에 대비하는 방어 기법을 개발한다.
• 적대적 편향에 대한 정합도 지도 예측 네트워크의 강건성 평가.

제안 방법

• Hu 등 [10]에 기반하여 심도 추정에 핵심적인 픽셀을 식별하도록 훈련된 정합도 지도 예측 네트워크 $G$를 활용한다.
• IFGSM 공격에 저항할 수 있는 강건한 정합도 예측기인 $G_{\mathrm{adv}}$를 생성하기 위해 $G$에 적대적 훈련을 적용한다.
• 심도 추정기 $N$에 입력하기 전에 $G_{\mathrm{adv}}$를 사용해 적대적 입력에 픽셀 단위 마스킹을 적용하여 핵심 픽셀만 유지한다.
• 평가를 위해 $\epsilon = 0.1$ 및 5~10회 반복을 사용한 IFGSM(PGD) 공격을 적용하여 적대적 예외를 생성한다.
• $N$에 사용된 동일한 손실 함수를 기반으로 $G_{\mathrm{adv}}$를 훈련시켜 일치성을 확보한다.
• 다양한 손실 함수와 네트워크 깊이에서 심도 추정의 RMSE를 사용하여 방어 성능을 평가한다.

실험 결과

연구 질문

• RQ1 IFGSM 공격를 사용한 적대적 공격가 단안 심도 추정 CNN의 성능을 상당히 악화시킬 수 있는가?
• RQ2 정합도 지도 예측기로 식별한 비핵심 픽셀을 마스킹하는 것이 적대적 공격에 대한 강건성을 향상시키는가?
• RQ3 적대적 훈련을 하지 않은 정합도 지도 예측 네트워크는 적대적 편향에 취약한가?
• RQ4 정합도 네트워크 $G$의 적대적 훈련이 심도 추정에 대한 IFGSM 공격에 대한 방어 성능을 향상시키는가?
• RQ5 $G_{\mathrm{adv}}$의 정합도 네트워크 깊이가 방어 기법의 강건성에 어떤 영향을 미치는가?

주요 결과

• IFGSM 공격를 $\epsilon=0.1$ 및 10회 반복으로 적용하면 심도 추정 성능이 심각하게 악화되며, 평균 RMSE가 청소된 상태의 0.664에서 적대적 상태의 1.778로 증가한다.
• 표준 정합도 지도 예측기로 비핵심 픽셀을 마스킹하면 RMSE가 0.664로 감소하여 공격가 주로 비핵심 영역을 악용한다는 것을 시사한다.
• 정합도 지도 예측기 $G$는 직접적인 공격 대상이 아니더라도 적대적 공격에 취약하며, 청소된 입력과 적대적 입력 간의 예측 정합도 지도에 큰 차이가 있음을 보여준다.
• 적대적 훈련을 통해 훈련된 강건한 정합도 예측기 $G_{\mathrm{adv}}$를 사용하면 IFGSM 공격 하에서 RMSE가 0.655로 감소하여 효과적인 방어를 입증한다.
• $G_{\mathrm{adv}}$의 레이어 수를 늘릴수록 방어 성능이 향상되며, RMSE는 22층일 때 0.664에서 54층일 때 0.655로 감소한다.
• 다양한 손실 함수(예: $\ell_1$, $\ell_2$, REL, $\log 10$, $\ell_{\rm dif}$)에서 방어 방법은 일관된 성능을 유지하며, RMSE는 항상 0.665 이하로 유지된다.