[논문 리뷰] Exploring Counterfactual Explanations Through the Lens of Adversarial Examples: A Theoretical and Empirical Analysis

Martin Pawelczyk, Chirag Agarwal외 3명|arXiv (Cornell University)|2021. 06. 18.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 반사적 설명과 적대적 예제 사이의 이론적 및 실험적 연결을 수립하며, 특정 조건 하에서 최신의 반사적 설명 생성 방법들이 수학적으로 동일하거나 유사한 적대적 공격 알고리즘과 동치임을 보여준다. 국소 선형 모델에 대해 해의 거리에 대한 상한을 도출하고, 다양체 기반 방법(예: NAE, C-CHVAE)이 반사적 설명과 매우 유사한 출력을 생성함을 실험적으로 검증함으로써, 고위험도 AI 시스템에서 반사적 설명의 설계와 신뢰성에 대한 핵심적인 질문을 제기한다.

ABSTRACT

As machine learning (ML) models become more widely deployed in high-stakes applications, counterfactual explanations have emerged as key tools for providing actionable model explanations in practice. Despite the growing popularity of counterfactual explanations, a deeper understanding of these explanations is still lacking. In this work, we systematically analyze counterfactual explanations through the lens of adversarial examples. We do so by formalizing the similarities between popular counterfactual explanation and adversarial example generation methods identifying conditions when they are equivalent. We then derive the upper bounds on the distances between the solutions output by counterfactual explanation and adversarial example generation methods, which we validate on several real-world data sets. By establishing these theoretical and empirical similarities between counterfactual explanations and adversarial examples, our work raises fundamental questions about the design and development of existing counterfactual explanation algorithms.

연구 동기 및 목표

• 반사적 설명과 적대적 예제 생성 방법 간의 이론적 및 실험적 연결을 조사하기 위해.
• 반사적 설명과 적대적 공격 방법이 수학적으로 동일한 조건을 갖는지를 특정하기 위해.
• 국소 선형 모델에 대해 반사적 설명 및 적대적 공격 방법이 생성하는 해 간의 거리에 상한을 설정하기 위해.
• 매칭 비율 및 순위 상관관계와 같은 지표를 사용하여 실제 데이터셋에서의 출력 유사성을 평가하기 위해.
• 고위험도 AI 응용 분야에서 반사적 설명의 신뢰성과 설계에 대한 근본적인 질문을 제기하기 위해.

제안 방법

• 공통된 제약 조건과 손실 함수 하에서 반사적 및 적대적 방법의 최적화 목표를 수식화하여 동치 조건을 규명하기 위해.
• 국소 선형 모델에 대해 반사적 설명(예: SCFE, C-CHVAE)과 적대적 공격(예: C&W, DeepFool, NAE) 방법의 L2 거리에 대한 이론적 상한을 유도하기 위해.
• 반사적 설명과 적대적 예제 간의 경험적 유사성을 평가하기 위해 매칭 비율 지표 $d_{\text{match}}$ 를 사용하며, 임계값 $\theta \in \{0.02, 0.05, 0.1\}$ 를 설정하기 위해.
• 반사적 및 적대적 방법에서 유도된 변형의 특성 중요도 순위 간 일치도를 평가하기 위해 스피어만 순위 상관관계 $\rho$ 를 적용하기 위해.
• 로지스틱 회귀 및 신경망 분류기로 구성된 실제 표본 데이터셋(예: COMPAS, Adult, German Credit)에서 광범위한 실험을 수행하기 위해.
• 다양체 제약 조건이 해의 유사성에 미치는 영향을 평가하기 위해 다양체 기반 방법(NAE, C-CHVAE)과 비다양체 기반 방법(DeepFool, C&W)을 비교하기 위해.

실험 결과

연구 질문

• RQ1 반사적 설명과 적대적 예제 생성 방법이 수학적으로 동일한 조건은 무엇인가?
• RQ2 반사적 설명과 적대적 공격 알고리즘이 생성하는 해들은 L2 거리 측면에서 얼마나 가까운가?
• RQ3 반사적 및 적대적 방법이 입력 특성의 중요도를 순위 상관관계로 측정했을 때 얼마나 일치하는가?
• RQ4 다양체 제약 조건의 포함 여부가 반사적 및 적대적 해 간의 유사성에 어떤 영향을 미치는가?
• RQ5 이러한 유사성은 고위험도 AI 시스템에서 반사적 설명의 신뢰성과 신뢰성에 어떤 함의를 갖는가?

주요 결과

• SCFE 방법은 DeepFool 및 C&W 적대적 공격와 높은 매칭 비율을 보이며, 특히 낮은 임계값($\theta = 0.02$)에서 강한 경험적 유사성을 나타낸다.
• 다양체 기반 방법(예: NAE, C-CHVAE)은 비다양체 기반 방법보다 반사적 설명과 훨씬 더 유사한 해를 생성함을 보여주며, 이는 높은 $d_{\text{match}}$ 값으로 확인된다.
• 반사적 및 적대적 방법에서 유도된 변형 간 순위 상관관계 $\rho$ 는 같은 카테고리의 방법에서 최대 1.00까지 도달하여 특성 중요도 순위가 거의 동일함을 시사한다.
• 이론적 유계는 C&W 및 SCFE 해가 국소 선형 모델에서 유한한 거리 내에 있음을 확인하며, 특정 하이퍼파rameter 설정 하에서의 동치성을 뒷받침한다.
• C-CHVAE 및 NAE는 특정 생성 모델 설정 하에서 상호 동치이며, 해의 거리가 유계임을 입증한다.
• 경험적 결과는 로지스틱 회귀 및 신경망 모델을 사용한 다양한 데이터셋(COMPAS, Adult, German Credit)에서 이론적 발견을 검증한다.