[논문 리뷰] On the Connections between Counterfactual Explanations and Adversarial Examples.

Martin Pawelczyk, Shalmali Joshi외 3명|arXiv (Cornell University)|2021. 06. 18.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 5

한 줄 요약

이 논문은 반사적 설명과 적대적 예제 사이의 이론적이고 경험적인 연결을 공식적으로 수립하며, Wachter 등과 Carlini & Wagner(MSE 손실 사용 시)와 같은 주요 방법들이 특정 조건 하에서 수학적으로 동일시됨을 보여준다. 또한 선형 모델에 대해 반사적 설명과 적대적 예제 사이의 거리에 대한 경계를 제시하고, 합성 및 실제 데이터셋을 통해 이러한 결과를 검증한다.

ABSTRACT

Counterfactual explanations and adversarial examples have emerged as critical research areas for addressing the explainability and robustness goals of machine learning (ML). While counterfactual explanations were developed with the goal of providing recourse to individuals adversely impacted by algorithmic decisions, adversarial examples were designed to expose the vulnerabilities of ML models. While prior research has hinted at the commonalities between these frameworks, there has been little to no work on systematically exploring the connections between the literature on counterfactual explanations and adversarial examples. In this work, we make one of the first attempts at formalizing the connections between counterfactual explanations and adversarial examples. More specifically, we theoretically analyze salient counterfactual explanation and adversarial example generation methods, and highlight the conditions under which they behave similarly. Our analysis demonstrates that several popular counterfactual explanation and adversarial example generation methods such as the ones proposed by Wachter et. al. and Carlini and Wagner (with mean squared error loss), and C-CHVAE and natural adversarial examples by Zhao et. al. are equivalent. We also bound the distance between counterfactual explanations and adversarial examples generated by Wachter et. al. and DeepFool methods for linear models. Finally, we empirically validate our theoretical findings using extensive experimentation with synthetic and real world datasets.

연구 동기 및 목표

• 기계학습의 해석 가능성과 강건성 분야에서 중요한 두 영역인 반사적 설명과 적대적 예제 사이의 이론적 연결을 체계적으로 탐구하는 것.
• 널리 사용되는 반사적 설명 및 적대적 예제 생성 방법들이 동일한 결과를 낳는 조건을 규명하는 것.
• 선형 모델에 대해 반사적 설명과 적대적 예제 사이의 거리에 대한 공식적 경계를 도출하는 것.
• 합성 및 실제 데이터셋을 사용하여 이론적 발견을 경험적으로 검증하는 것.

제안 방법

• 핵심 반사적 설명 및 적대적 예제 생성 방법의 이론적 분석을 통해 최적화 목표 및 제약 조건에 중점을 두는 것.
• Wachter 등과 Carlini & Wagner(MSE 손실 사용 시) 간의 동등성과, Zhao 등이 제안한 C-CHVAE 및 자연적 적대적 예제 간의 동등성을 공식적으로 유도하는 것.
• 선형 모델에 대해 Wachter 등이 생성한 반사적 설명과 DeepFool 방법에서 유도된 적대적 예제 사이의 거리에 대한 이론적 경계를 유도하는 것.
• 이론적 동등성과 경계를 검증하기 위해 합성 및 실제 데이터셋을 사용한 경험적 평가를 수행하는 것.
• 이론적 분석에서 방법의 동등성에 대한 통합 목표로 평균 제곱 오차 손실을 사용하는 것.
• 공통의 제약 조건 하에서 기울기 기반 최적화 기법을 적용하여 반사적 설명과 적대적 예제를 동시에 생성하는 것.

실험 결과

연구 질문

• RQ1 반사적 설명 생성 방법이 적대적 예제 생성 방법과 동일한 결과를 낳는 조건는 무엇인가?
• RQ2 선형 모델에서 생성된 반사적 설명과 적대적 예제 사이의 변형 거리는 어떻게 비교되는가?
• RQ3 Wachter 등과 Carlini & Wagner(MSE 손실 사용 시)와 같은 방법들이 동일하거나 동등한 출력을 낳는 정도는 어느 정도인가?
• RQ4 Zhao 등이 제안한 C-CHVAE와 자연적 적대적 예제는 동일한 공식화 하에서 이론적으로 동등한가?
• RQ5 이론적 동등성과 경계가 다양한 데이터셋에서 실제로 얼마나 잘 유지되는가?

주요 결과

• Wachter 등과 Carlini & Wagner(MSE 손실 사용 시)와 같은 널리 사용되는 반사적 설명 및 적대적 예제 생성 방법들은 특정 조건 하에서 이론적으로 동등하다.
• Zhao 등이 제안한 C-CHVAE 방법은 동일한 최적화 프레임워크 하에서 자연적 적대적 예제와 동등하다.
• 선형 모델에 대해 Wachter 등이 생성한 반사적 설명과 DeepFool 방법에서 유도된 적대적 예제 사이의 거리에 대한 이론적 상한 경계가 유도되었다.
• 경험적 결과는 합성 및 실제 데이터셋 전반에서 이론적 동등성을 확인하였으며, 연구 결과의 일관성을 검증하였다.
• 손실 함수의 선택, 특히 평균 제곱 오차 손실이 반사적 설명과 적대적 예제의 목표를 통합하는 데 핵심적인 역할을 한다는 것이 드러났다.
• 연구 결과는 강건성과 대체 가능성(recourse)을 동일한 시각에서 연구할 수 있으며, 공통의 최적화 역학을 공유할 수 있음을 시사한다.