[논문 리뷰] Adversarial Attacks and Defenses: An Interpretation Perspective

Ninghao Liu, Mengnan Du외 3명|arXiv (Cornell University)|2020. 04. 23.

Adversarial Robustness in Machine Learning참고 문헌 124인용 수 7

한 줄 요약

이 논문은 해석 가능한 기계학습의 관점에서 적대적 공격과 방어를 해석하고, 해석을 특성 수준 및 모델 수준 접근법으로 분류한다. 이는 모델의 취약성을 타겟 공격나 강건성 향상에 드러내는 데 해석 가능성의 역할을 보여주며, 적대적 강건성에 대한 통합적 시각을 제공하고 투명하고 신뢰할 수 있는 모델 개발을 촉진한다.

ABSTRACT

Despite the recent advances in a wide spectrum of applications, machine learning models, especially deep neural networks, have been shown to be vulnerable to adversarial attacks. Attackers add carefully-crafted perturbations to input, where the perturbations are almost imperceptible to humans, but can cause models to make wrong predictions. Techniques to protect models against adversarial input are called adversarial defense methods. Although many approaches have been proposed to study adversarial attacks and defenses in different scenarios, an intriguing and crucial challenge remains that how to really understand model vulnerability? Inspired by the saying that "if you know yourself and your enemy, you need not fear the battles", we may tackle the aforementioned challenge after interpreting machine learning models to open the black-boxes. The goal of model interpretation, or interpretable machine learning, is to extract human-understandable terms for the working mechanism of models. Recently, some approaches start incorporating interpretation into the exploration of adversarial attacks and defenses. Meanwhile, we also observe that many existing methods of adversarial attacks and defenses, although not explicitly claimed, can be understood from the perspective of interpretation. In this paper, we review recent work on adversarial attacks and defenses, particularly from the perspective of machine learning interpretation. We categorize interpretation into two types, feature-level interpretation and model-level interpretation. For each type of interpretation, we elaborate on how it could be used for adversarial attacks and defenses. We then briefly illustrate additional correlations between interpretation and adversaries. Finally, we discuss the challenges and future directions along tackling adversary issues with interpretation.

연구 동기 및 목표

• 깊이 신경망을 포함한 기계학습 모델이 왜 여전히 적대적 공격에 취약한지 이해하는 데 있어 근본적인 과제를 해결하기 위해.
• 적대적 공격 및 방어가 해석 가능한 기계학습의 프레임워크 아래 통합될 수 있는지 탐구하기 위해.
• 모델 해석이 내부 취약성을 드러내어 더 강건한 모델 개발을 이끌 수 있는 방법을 탐색하기 위해.
• 기존 해석 방법의 한계, 예를 들어 적대적 노이즈에 취약한 점을 특정하고 개선 방안을 제안하기 위해.
• 적대적 샘플을 위협 요소를 넘어서 모델의 일반화 능력 향상과 신뢰성 향상 도구로 활용할 잠재력을 조사하기 위해.

제안 방법

• 해석을 특성 수준(영향력 있는 입력 특성 식별) 및 모델 수준(내부 구성 요소 및 활성화 분석) 해석으로 분류하기.
• 기존의 적대적 공격 및 방어 기법을 해석 프레임워크에 매핑하여, 이들이 암묵적으로 해석 가능성 원리를 기반으로 하고 있음을 보여주기.
• 적대적 변형에 대한 해석 방법의 안정성과 충실도 분석하여, 활성도 맵의 취약성을 드러내기.
• 해석 방법의 강건성을 향상시키기 위해 스무딩 활성화 함수 및 SmoothGrad의 스파arsed 버전 제안하기.
• 캡슐 네트워크 및 인과 모델과 같은 새로운 아키텍처를 통해 내재적 해석 가능성 탐색하여 초기 단계부터 해석 가능성을 통합하기.
• 적대적 훈련이 모델의 해석 가능성과 표현 품질을 향상시킬 수 있는지 조사하며, 배치 정규화를 사용해 정상 및 적대적 데이터 분포를 별도로 모델링하기.

실험 결과

연구 질문

• RQ1 특성 수준의 해석은 어떻게 더 효과적인 적대적 공격나 방어를 설계하는 데 활용될 수 있는가?
• RQ2 모델 수준의 해석은 적대적 공격이 악용하는 딥 네ural 네트워크의 구조적 약점을 어떻게 드러내는가?
• RQ3 기존의 해석 기법들이 적대적 변형에 얼마나 취약한가?
• RQ4 적대적 샘플을 동시에 모델의 강건성과 해석 가능성 향상에 활용할 수 있는가?
• RQ5 모델 설계에서 내재적 해석 가능성은 사후 해석에 대한 의존도를 어떻게 줄이고 전체적인 모델 신뢰성을 향상시킬 수 있는가?

주요 결과

• 많은 기존의 적대적 공격 및 방어 기법은 해석 기법의 연장선으로 재해석될 수 있으며, 공통된 기반이 되는 메커니즘이 드러난다.
• 활성도 맵과 같은 해석 방법은 적대적 변형에 취약하여, 보안 중심 응용 분야에서의 신뢰성을 떨어뜨린다.
• 강건한 해석 방법—예를 들어 스무딩 활성화 함수 및 인증 가능하게 강건한 SmoothGrad의 변형—은 적대적 노이즈 하에서 안정성을 향상시킬 수 있다.
• 적대적으로 훈련된 모델는 더 높은 해석 가능성과 더 나은 표현 품질을 보이며, 강건성과 설명 가능성 사이의 연관성을 시사한다.
• 배치 정규화를 통해 정상 및 적대적 데이터 분포를 별도로 모델링하면, 적대적 훈련 중 성능 저하를 완화할 수 있다.
• 캡슐 네트워크 및 인과 모델과 같은 해석 가능한 아키텍처는 본질적으로 해석 가능하고 강건한 모델로 향하는 유망한 길을 제시한다.