[논문 리뷰] Bridging Adversarial Robustness and Gradient Interpretability

Beomsu Kim, Junghoon Seo외 1명|arXiv (Cornell University)|2019. 03. 27.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 26

한 줄 요약

이 논문은 적대적 로버스트니와 기울기 해석 가능성 간의 다리를 놓으며, 적대적 훈련이 손실 기울기를 이미지 다양체에 더 가깝게 제약화시켜 인간 인지와 정량적 의미를 더 잘 반영하게 한다고 보여준다. 테스트 정확도와 기울기 해석 가능성 사이의 상충 관계를 밝혀내고, 이를 해결하기 위해 향상된 기울기 할당 방법과 훈련 규범을 제안한다.

ABSTRACT

Adversarial training is a training scheme designed to counter adversarial attacks by augmenting the training dataset with adversarial examples. Surprisingly, several studies have observed that loss gradients from adversarially trained DNNs are visually more interpretable than those from standard DNNs. Although this phenomenon is interesting, there are only few works that have offered an explanation. In this paper, we attempted to bridge this gap between adversarial robustness and gradient interpretability. To this end, we identified that loss gradients from adversarially trained DNNs align better with human perception because adversarial training restricts gradients closer to the image manifold. We then demonstrated that adversarial training causes loss gradients to be quantitatively meaningful. Finally, we showed that under the adversarial training framework, there exists an empirical trade-off between test accuracy and loss gradient interpretability and proposed two potential approaches to resolving this trade-off.

연구 동기 및 목표

• 적대적으로 훈련된 DNN의 손실 기울기가 표준 DNN의 기울기보다 더 시각적으로 해석 가능해지는 이유를 설명하는 것.
• 적대적 훈련이 내부 표현을 반영하는 정량적으로 의미 있는 기울기를 유도하는지 조사하는 것.
• 적대적 훈련 하에서 테스트 정확도와 기울기 해석 가능성 사이의 경험적 상충 관계를 밝히고 해결하는 것.
• 모델 정확도를 희생시키지 않고 기울기 해석 가능성을 향상시키기 위한 방법을 제안하는 것.

제안 방법

• ℓ₂ 및 ℓ∞ 제약 조건 하에서 PGD 기반 공격를 사용하여 적대적 예제를 생성하고, 이를 훈련에 적용하는 적대적 훈련을 수행한다.
• 적대적 훈련이 기울기를 이미지 다양체에 제약하는 가설을 시각화 및 토이 데이터셋 실험을 통해 검증한다.
• 기울기가 내부 표현을 얼마나 정확히 반영하는지 측정하기 위한 공식적 프레임워크를 구축하여, 기울기 할당 방법 평가 지표를 활용한다.
• CIFAR-10, MNIST, FMNIST에서 글로벌(GX) 및 로컬(G) 기울기 할당 방법을 사용하여 기울기 해석 가능성을 평가한다.
• 다양한 적대적 훈련 설정(규범, 목표)에서 테스트 정확도와 해석 가능성 간의 상충 관계를 분석한다.
• 두 가지 해결 전략을 제안한다: 적대적 훈련과 고급 글로벌 기울기 할당 방법의 조합, 그리고 더 나은 해석 가능성 확보를 위한 ℓ∞ 기반 훈련 최적화.

실험 결과

연구 질문

• RQ1 왜 적대적으로 훈련된 네트워크의 손실 기울기가 인간 인지와 더 잘 일치하는가?
• RQ2 훈련에 사용된 적대적 공격의 강도와 기울기의 시각적 품질 사이에 상관관계가 있는가?
• RQ3 적대적 훈련이 내부 DNN 행동을 반영하는 손실 기울기의 정량적 의미를 진정으로 향상시키는가?
• RQ4 적대적 훈련 하에서 테스트 정확도와 기울기 해석 가능성 사이에 상충 관계가 존재하는가?
• RQ5 기울기 할당 방법의 대체 또는 훈련 설정 최적화를 통해 이 상충 관계를 완화시킬 수 있는가?

주요 결과

• 적대적으로 훈련된 DNN의 손실 기울기가 인간 인지와 더 잘 일치하는 이유는 적대적 훈련이 기울기를 이미지 다양체에 더 가깝게 제약하기 때문이다.
• 적대적 훈련은 내부 표현과의 일치도를 측정하는 공식적 프레임워크를 통해 정량적으로 의미 있는 기울기를 생성함을 검증하였다.
• 테스트 정확도와 기울기 해석 가능성 사이에는 거의 단조로운 상충 관계가 존재하며, 공격 강도가 클수록 기울기 해석 가능성은 향상되지만 정확도는 감소한다.
• 글로벌 기울기 할당 방법(g_GX 등)이 로컬 방법(g_G 등)보다 해석 가능성에서 뛰어나며, 이는 적대적 훈련과의 통합이 해석 가능성 향상에 기여함을 시사한다.
• KAR 목표에서 ℓ∞ 기반 훈련은 더 큰 해석 가능성 향상을 보였고, ROAR에서는 ℓ₂ 기반 훈련이 더 강건한 성능을 보여, 규범에 따라 성능 차이가 있음을 확인하였다.
• 결과는 적대적 훈련과 고급 글로벌 기울기 할당 방법의 조합, 또는 ℓ∞ 훈련 최적화를 통해 정확도-해석 가능성 상충 관계를 완화시킬 수 있음을 시사한다.