[논문 리뷰] How to Manipulate CNNs to Make Them Lie: the GradCAM Case

Tom J. Viering, Ziqi Wang외 2명|arXiv (Cornell University)|2019. 07. 25.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 14

한 줄 요약

이 논문은 기존의 인기 있는 CNN 해석 방법인 GradCAM이 모델 가중치와 아키텍처를 악성으로 수정함으로써 원하는 해석을 생성하면서도 모델 정확도를 유지할 수 있음을 보여준다. 주요 기여는 GradCAM이 모델 수준의 조작에 대해 안정성이 없음을 입증한 것이다. 이는 의료와 같은 고위험 분야에서 설명 가능한 AI에 심각한 보안 취약성을 드러낸다.

ABSTRACT

Recently many methods have been introduced to explain CNN decisions. However, it has been shown that some methods can be sensitive to manipulation of the input. We continue this line of work and investigate the explanation method GradCAM. Instead of manipulating the input, we consider an adversary that manipulates the model itself to attack the explanation. By changing weights and architecture, we demonstrate that it is possible to generate any desired explanation, while leaving the model's accuracy essentially unchanged. This illustrates that GradCAM cannot explain the decision of every CNN and provides a proof of concept showing that it is possible to obfuscate the inner workings of a CNN. Finally, we combine input and model manipulation. To this end we put a backdoor in the network: the explanation is correct unless there is a specific pattern present in the input, which triggers a malicious explanation. Our work raises new security concerns, especially in settings where explanations of models may be used to make decisions, such as in the medical domain.

연구 동기 및 목표

• 입력 수준의 흐름이 아닌 모델 수준의 조작에 대한 GradCAM 설명의 안정성을 조사하기 위해.
• 모델의 가중치와 아키텍처를 악성으로 수정함으로써 원하는 GradCAM 설명을 생성할 수 있음을 입증하기 위해.
• 모델 조작 하에서 GradCAM이 구현 불변성과 같은 기본적인 타당성 검증 조건을 충족하는지 평가하기 위해.
• 모델 수준 공격과 입력 수준 공격(예: 백도어 트리거)을 조합하여 설명을 뒤집는 것이 가능한지 탐색하기 위해.
• 의료와 같은 안전이 중요한 응용 분야에서 설명 가능한 AI의 보안 위험에 대한 인식을 제고하기 위해.

제안 방법

• 모델의 가중치와 아키텍처를 악성으로 수정하여 GradCAM의 주의를 원하는 입력 이미지 영역으로 유도하기 위해.
• 기울기 기반 GradCAM을 사용하여 최종 합성곱 레이어의 예측 클래스에 대한 기울기를 바탕으로 시각화 맵을 생성하기 위해.
• ImageNet (ILSVRC2012 검증 세트)에서 원래 네트워크와 거의 동일한 정확도를 유지하도록 수정된 모델을 훈련하기 위해.
• 특정 입력 패턴(예: 스티커)이 존재하면 악성 설명을 유도하는 백도어 메커니즘을 도입하기 위해.
• 원하는 GradCAM 히트맵과 실제 히트맵 간의 L1 거리로 설명의 정확도를 측정하기 위해.
• 일관성 있는 정확도를 확보하기 위해 다양한 조작 유형(상수, 미소, 무작위, 백도어)에 대해 모델 예측과 GradCAM 출력을 비교하기 위해.

실험 결과

연구 질문

• RQ1 모델의 예측 정확도를 변경하지 않고도 모델의 가중치와 아키텍처를 수정함으로써 GradCAM 설명을 조작할 수 있는가?
• RQ2 모델이 악성으로 수정된 경우 GradCAM이 구현 불변성의 원리를 충족하는가?
• RQ3 백도어를 CNN에 통합하여 정상 입력에서는 정확한 설명을, 트리거가 존재할 경우 악성 설명을 생성하도록 GradCAM을 설정할 수 있는가?
• RQ4 GradCAM 설명은 아키텍처 및 가중치 수준의 변화에 얼마나 민감한가? 그리고 설명 정확도에 어떤 영향을 미치는가?
• RQ5 기타 기울기 기반 설명 방법들도 모델 수준의 조작에 동일하게 취약한가?

주요 결과

• 수정된 모델들(T1–T4)은 ILSVRC2012 검증 세트에서 원래 네트워크와 거의 동일한 정확도를 유지하였으며, 모든 변형에서 ||yo − yn||∞ < 0.00001을 기록하였다.
• 모델 출력에 미미한 변화가 있었음에도 불구하고 GradCAM 설명은 원하는 목표로 완전히 조작될 수 있었으며, 모든 조작 유형에서 ||ĨT − Ĩn||1 < 0.01을 기록하였다.
• 백도어 변형(T4)은 정상 입력에서는 정확한 설명을 생성했고, 트리거가 존재하는 입력에서는 악성 설명을 생성하였으며, L1 거리는 0.00006이었다.
• 연구 결과에 따르면 GradCAM은 모델이 조작되었을 때 동일한 예측이 동일한 설명을 생성하지 않기 때문에 구현 불변성 원리를 충족하지 못함을 입증하였다.
• 결과는 GradCAM이 모델 파라미터와 아키텍처에 대해 검증되지 않은 가정에 의존하고 있음을 시사하며, 이는 악성 모델 변조 공격에 취약함을 의미한다.
• 저자들은 유사한 공격가 다른 기울기 기반 설명 방법, 특히 ∂y/∂x에 의존하는 방법들에도 적용될 수 있음을 제안한다.