[논문 리뷰] Towards Frequency-Based Explanation for Robust CNN

Zifan Wang, Yilin Yang외 3명|arXiv (Cornell University)|2020. 05. 06.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 24

한 줄 요약

이 논문은 입력 이미지의 다양한 주파수 성분이 CNN 예측에 기여하는 정도를 측정하기 위해 주파수 기반 설명 방법인 Occluded Frequency를 소개한다. 이는 표준 모델이 고주파 성분에 크게 의존하고 있어 적대적 공격에 취약한 반면, 적대적 훈련을 통해 얻은 강건한 모델은 저주파 성분으로의 의존도를 높여 미세한 변형에 대해 더 강건한 이유를 설명한다.

ABSTRACT

Current explanation techniques towards a transparent Convolutional Neural Network (CNN) mainly focuses on building connections between the human-understandable input features with models' prediction, overlooking an alternative representation of the input, the frequency components decomposition. In this work, we present an analysis of the connection between the distribution of frequency components in the input dataset and the reasoning process the model learns from the data. We further provide quantification analysis about the contribution of different frequency components toward the model's prediction. We show that the vulnerability of the model against tiny distortions is a result of the model is relying on the high-frequency features, the target features of the adversarial (black and white-box) attackers, to make the prediction. We further show that if the model develops stronger association between the low-frequency component with true labels, the model is more robust, which is the explanation of why adversarially trained models are more robust against tiny distortions.

연구 동기 및 목표

• 주파수 성분이 CNN의 결정 과정과 모델의 강건성에 미치는 역할을 조사하기 위해.
• 강력한 성능를 보이지만 적대적 공격에 취약한 표준 CNN의 이유를 규명하기 위해.
• 각 주파수 대역이 모델 예측에 기여하는 정도를 정량화하는 주파수 기반 기여도 방법을 개발하기 위해.
• 주파수 기반 분석을 통해 적대적 훈련을 통해 얻은 모델의 강건성 원리를 설명하기 위해.
• 입력 신호 표현 방식(주파수 도메인)과 모델의 강건성 행동 간 격차를 메우기 위해.

제안 방법

• 저자들은 입력 이미지를 주파수 스펙트럼 전반에 걸쳐 분해하기 위해 이산 푸리에 변환(DFT)을 사용한다.
• 개별 주파수 대역을 0으로 설정하고 출력 신뢰도의 변화를 측정함으로써 예측 변화를 계산하는 기여도 방법인 Occluded Frequency를 제안한다.
• 모델의 신뢰도가 감소하는 정도를 측정함으로써 각 주파수 성분에 대한 기여도 점수를 체계적으로 추정한다.
• CIFAR-10에서 표준 모델과 적대적 훈련된 모델 간의 기여도 점수를 비교하여 주파수 의존도의 변화를 분석한다.
• 적대적 공격에서의 변형을 분석하고, 대부분의 왜곡이 고주파 대역에서 발생함을 보여준다.
• 가장 낮은(가장 눈에 띄는) 주파수 성분에 기반한 변형 크기의 이론적 하한을 설정한다.

실험 결과

연구 질문

• RQ1 입력 이미지의 다양한 주파수 성분이 CNN의 최종 예측에 어떻게 기여하는가?
• RQ2 왜 인간에게는 인지되지 않는 적대적 공격이 표준 CNN에 취약한가?
• RQ3 적대적 훈련을 통해 훈련된 모델이 표준 모델에 비해 고주파 성분에 대한 의존도를 얼마나 줄이는가?
• RQ4 주파수 기반 기여도 방법이 적대적 훈련된 모델의 강건성을 설명할 수 있는가?
• RQ5 적대적 공격은 주로 고주파 성분을 공격하는가? 만약 그렇다면, 이는 왜 모델의 취약성을 초래하는가?

주요 결과

• 표준 CNN은 인간이 인지하기 어려운 고주파 성분에 더 강하게 의존하여 예측을 내리며, 이러한 성분은 미세한 변형에 매우 민감하다.
• 화이트박스 및_BLK박스 공격을 포함한 적대적 공격는 주로 고주파 성분을 왜곡하며, 이는 모델이 고주파 성분에 과도하게 의존하고 있음을 악용한다.
• Occluded Frequency 방법은 기여도를 성공적으로 정량화하였으며, 표준 모델에서 고주파 성분이 종종 가장 높은 기여도 점수를 기록함을 드러냈다.
• 적대적 훈련을 통해 훈련된 강건한 모델는 중간 및 고주파 성분에 대한 기여도가 크게 감소하여 저주파 특징으로의 집중을 보였다.
• 저주파 성분으로의 기여도 이동은 강건성 향상과 강하게 상관관계가 있으며, 이는 적대적 훈련된 모델가 미세한 변형에 저항하는 이유를 설명한다.
• 이론적 하한은 가장 낮은(가장 눈에 띄는) 주파수 성분에 의해 결정되며, 인간의 감지 없이 이를 변경하는 것은 어렵다.