[논문 리뷰] Certifiably Robust Interpretation in Deep Learning

Alexander Levine, Sahil Singla외 1명|arXiv (Cornell University)|2019. 05. 28.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 19

한 줄 요약

이 논문은 입력에 대한 무작위 편향을 평균화하면서도 희소성 조건을 부여한 SmoothGrad의 변형을 사용하여 딥러닝에 대한 증명 가능하게 강건한 해석 방법을 제안한다. 이는 시각화 지도에 대한 적대적 공격에 대해 이론적 강건성 증명을 수립하며, 편향이 가해져도 신뢰할 수 있는 해석을 유지함을 보여주며, ImageNet 및 CIFAR-10 데이터셋에서의 실험적 검증을 통해 기존의 기울기 기반 및 SmoothGrad 방법보다 뛰어난 강건성을 확보한다.

ABSTRACT

Deep learning interpretation is essential to explain the reasoning behind model predictions. Understanding the robustness of interpretation methods is important especially in sensitive domains such as medical applications since interpretation results are often used in downstream tasks. Although gradient-based saliency maps are popular methods for deep learning interpretation, recent works show that they can be vulnerable to adversarial attacks. In this paper, we address this problem and provide a certifiable defense method for deep learning interpretation. We show that a sparsified version of the popular SmoothGrad method, which computes the average saliency maps over random perturbations of the input, is certifiably robust against adversarial perturbations. We obtain this result by extending recent bounds for certifiably robust smooth classifiers to the interpretation setting. Experiments on ImageNet samples validate our theory.

연구 동기 및 목표

• 의료 및 자율주행 시스템과 같은 고위험 응용 분야에서 기울기 기반 시각화 지도의 적대적 편향에 대한 취약성을 해결하기 위해.
• 분류 레이블 뿐 아니라 해석 출력에 대해 공식적이고 증명 가능한 강건성을 제공하는 방법을 개발하기 위해.
• 이전에 분류 작업에 사용된 증명 가능하게 강건한 스무딩 기법을, 특히 시각화 지도에 대한 해석 설정으로 확장하기 위해.
• 표준 적대적 훈련이 분류 성능 향상에는 효과적이지만, 해석 출력에 대한 강건성은 보장하지 못하므로, 해석에 대한 새로운 방어 기법이 필요함을 입증하기 위해.
• 적대적 입력 편향 하에서도 해석의 일관성 유지와 함께 이론적 성능 보장을 제공하는 실용적이고 확장 가능한 방법을 제공하기 위해.

제안 방법

• 입력에 대한 무작위 편향에 대한 기울기 기대값을 계산하면서도, 상대적으로 높은 순위의 기울기 요소만 유지하는 방식으로 희소성을 도입한 SmoothGrad의 변형을 제안한다.
• 스무딩 함수를 $\bar{\mathbf{g}}(\mathbf{x}) = \mathbb{E}[\mathbf{g}(\mathbf{x} + \epsilon)]$ 로 정의하며, $\epsilon \sim \mathcal{N}(0, \sigma^2\mathbf{I})$ 이고, 온도 조절을 통한 연속적 근사 기법을 사용해 희소성 조건을 적용한다.
• 증명 가능하게 강건한 스무딩 분류기의 경계를 해석 설정으로 확장하여 이론적 강건성 증명을 유도하며, 유한한 편향 하에서도 시각화 지도의 구조가 안정적으로 유지됨을 보장한다.
• 원본 및 편향된 시각화 지도 간 유사도를 측정하기 위해 top-K 겹침 지표 $R(\mathbf{x}, \tilde{\mathbf{x}}, K)$ 를 사용하여 강건성의 실증적 평가를 수행한다.
• CIFAR-10 및 ImageNet에서 ResNet-18 모델에 대해 $L_2$-노름 기반 적대적 공격을 적용하여 강건성 검증을 수행한다.
• 이론적 경계와 실증적 평가를 병행하여 기존의 SmoothGrad 및 스케일드 SmoothGrad 변형과의 비교를 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 기울기 기반 시각화 지도는 공식적인 보장을 바탕으로 적대적 편향에 대해 강건하게 만들 수 있는가?
• RQ2 분류에 대한 표준 적대적 훈련이 해석 출력의 강건성으로 이어지는가?
• RQ3 증명 가능하게 강건한 스무딩의 이론적 프레임워크를 시각화 지도 해석 설정에 적용할 수 있는가?
• RQ4 SmoothGrad의 희소화가 해석 지도의 강건성과 정확성에 어떤 영향을 미치는가?
• RQ5 제안된 방법의 실증적 성능은 적대적 공격 하에서 기존의 해석 기법보다 뛰어나게 나타나는가?

주요 결과

• ImageNet 샘플에서, 희소화된 SmoothGrad는 기준 SmoothGrad 및 스케일드 SmoothGrad보다 유의미하게 높은 강건성 증명 값을 확보하며, $q=8192$ 편향에서 중앙값이 0.5를 초과한다.
• 실증적 평가 결과, 희소화된 SmoothGrad는 $L_2$ 적대적 공격의 크기가 표준편차의 0.5배일 때도 시각화 지도 영역의 top-K 겹침 비율이 0.6 이상을 유지하며, 표준 기울기 및 SmoothGrad 방법보다 뛰어난 성능을 보였다.
• 이 방법은 표준 적대적 훈련이 분류 성능 향상에는 효과가 있지만, 해석 출력의 강건성에는 기여하지 않음을 입증하였으며, 소규모 편향에도 불구하고 시각화 지도가 매우 민감하게 반응함을 보였다.
• 스케일드 SmoothGrad 및 제곱형 스무딩 기반의 이론적 경계는 빈약한(비의미 있는) 결과를 도출하지만, 제안된 희소화된 변형은 비의미 없는 경계가 아닌, 유의미한 강건성 증명을 제공한다.
• Lecuyer 등(2018)의 기존 분류 강건성 경계를 단순 적용한 것과 비교했을 때, 제안된 방법에서 유도된 강건성 증명은 더 날카롭고 정보가 풍부한 경계를 제공한다.
• CIFAR-10 실험에서는 $T=5$ 반복 수준에서 희소화된 SmoothGrad가 $L_2$ 공격 하에서도 높은 해석 정확도를 유지하였으며, 144개의 테스트 샘플에서 안정적인 성능과 좁은 신뢰구간을 확보하였다.