[논문 리뷰] Adversarial Machine Learning: An Interpretation Perspective

Ninghao Liu, Mengnan Du외 1명|arXiv (Cornell University)|2020. 04. 23.

Adversarial Robustness in Machine Learning참고 문헌 72인용 수 6

한 줄 요약

이 논문은 기계 학습에서 적대적 내성에 대한 통합적 해석적 시각을 제안하며, 적대적 공격과 방어를 해석 가능성의 자연스러운 연장선으로 프레임워크화한다. 해석 가능성의 두 유형인 원시 특징과 모델 구성 요소로 분류함으로써, 해석 가능성 기법이 공격 생성과 방어 메커니즘 양쪽을 향상시킬 수 있음을 입증하며, 모델의 취약성과 내성에 대한 새로운 통찰을 제공한다.

ABSTRACT

Recent years have witnessed the significant advances of machine learning in a wide spectrum of applications. However, machine learning models, especially deep neural networks, have been recently found to be vulnerable to carefully-crafted input called adversarial samples. The difference between normal and adversarial samples is almost imperceptible to human. Many work have been proposed to study adversarial attack and defense in different scenarios. An intriguing and crucial aspect among those work is to understand the essential cause of model vulnerability, which requires in-depth exploration of another concept in machine learning models, i.e., interpretability. Interpretable machine learning tries to extract human-understandable terms for the working mechanism of models, which also receives a lot of attention from both academia and industry. Recently, an increasing number of work start to incorporate interpretation into the exploration of adversarial robustness. Furthermore, we observe that many previous work of adversarial attacking, although did not mention it explicitly, can be regarded as natural extension of interpretation. In this paper, we review recent work on adversarial attack and defense, particularly, from the perspective of machine learning interpretation. We categorize interpretation into two types, according to whether it focuses on raw features or model components. For each type of interpretation, we elaborate on how it could be used in attacks, or defense against adversaries. After that, we briefly illustrate other possible correlations between the two domains. Finally, we discuss the challenges and future directions along tackling adversary issues with interpretation.

연구 동기 및 목표

• 기계 학습의 적대적 예제에 대한 모델 취약성의 근본 원인을 해석 가능성 통합을 통해 분석하고자 한다.
• 해석 가능성 방법을 원시 특징 기반과 모델 구성 요소 기반 접근으로 분류하여 체계적인 분석을 수행하고자 한다.
• 해석 가능성 기법이 적대적 공격 전략과 방어 메커니즘 향상에 어떻게 활용될 수 있는지 입증하고자 한다.
• 딥 뉴럴 네트워크 모델에서 해석 가능성과 적대적 내성 간의 새로운 상관관계를 식별하고 논의하고자 한다.
• 기계 학습의 적대적 내성 향상을 위한 해석 가능성 기반의 열린 과제와 향후 연구 방향을 요약하고자 한다.

제안 방법

• 원시 입력 특징에 초점을 맞춘 해석과 뉴런 또는 레이어와 같은 내부 모델 구성 요소에 초점을 맞춘 해석으로 해석 방법을 두 유형으로 분류한다.
• 해석 기법이 주목할 만한 특징이나 모델 민감성 구성 요소를 식별함으로써 적대적 예제 제작에 어떻게 기여할 수 있는지 분석한다.
• 결정에 중요한 특징이나 구성 요소를 드러내어 모델 취약성을 탐지하고 완화하는 데 해석을 적용한다.
• 기존의 적대적 공격 방법을 해석 프레임워크에 매핑하여, 많은 공격가들이 핵심 특징이나 구성 요소를 변형시킴으로써 암묵적으로 해석을 수행하고 있음을 보여준다.
• 해석 분석을 통해 식별된 중요한 구성 요소를 수정하거나 정규화함으로써 더 강건한 모델을 설계하는 데 해석을 활용한다.
• 적대적 내성을 해석 가능한 모델 설계의 유사한 성질로 간주하는 개념적 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 적대적 기계 학습 맥락에서 해석 기법을 어떻게 시스템적으로 분류할 수 있는가?
• RQ2 원시 특징의 해석은 효과적인 적대적 공격 생성에 어떻게 기여할 수 있는가?
• RQ3 모델 구성 요소의 해석은 적대적 예제에 대한 방어 메커니즘 향상에 어떻게 기여할 수 있는가?
• RQ4 기존의 적대적 공격 방법과 해석 기법 사이에는 어떤 암묵적인 연결 고리가 존재하는가?
• RQ5 해석 가능성은 어떻게 딥 뉴럴 네트워크의 적대적 변형에 대한 강건성을 향상시키는 데 활용될 수 있는가?

주요 결과

• 원시 특징에 초점을 맞춘 해석 기법은 모델 예측에 가장 영향을 미치는 입력 영역을 드러내며, 이는 표적적 적대적 변형을 가능하게 한다.
• 뉴런이나 어텐션 헤드와 같은 모델 구성 요소의 해석은 적대적 조작에 취약한 의사결정 경로를暴露할 수 있다.
• 많은 기존의 적대적 공격 방법은 명시적인 언급 없이도 주목할 만한 특징이나 구성 요소를 식별하고 악용함으로써 암묵적으로 해석을 수행하고 있다.
• 해석 가능성은 취약한 구성 요소를 식별하고 정규화함으로써 방어를 향상시켜 모델의 내성을 높일 수 있다.
• 해석 가능성과 적대적 내성 연구에의 통합은 모델 투명성과 내성 간의 더 깊이 있는 체계적 연결 고리를 드러낸다.
• 향후 연구는 다양한 모델 아키텍처에 일반화되고 강건한 해석 기반 방어 프레임워크 개발에 초점을 맞춰야 한다.