[논문 리뷰] Towards the Unification and Robustness of Perturbation and Gradient Based Explanations

Sushant Agarwal, Shahin Jabbari외 4명|arXiv (Cornell University)|2021. 02. 21.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

이 논문은 편미분 기반(연속형 LIME)과 기울기 기반(SmoothGrad) 설명 방법을 닫힌 형태의 표현식을 유도하여, 그들이 기대값에서 동일한 설명으로 수렴함을 보여줌으로써 통합한다. 충분한 편미분을 사용할 경우 두 방법이 안정적이고 리프시츠 연속성임을 증명하여, 블랙박스 모델에 대한 국소적 모델 설명에서 수렴성과 안정성에 대한 이론적 보장을 확립한다.

ABSTRACT

As machine learning black boxes are increasingly being deployed in critical domains such as healthcare and criminal justice, there has been a growing emphasis on developing techniques for explaining these black boxes in a post hoc manner. In this work, we analyze two popular post hoc interpretation techniques: SmoothGrad which is a gradient based method, and a variant of LIME which is a perturbation based method. More specifically, we derive explicit closed form expressions for the explanations output by these two methods and show that they both converge to the same explanation in expectation, i.e., when the number of perturbed samples used by these methods is large. We then leverage this connection to establish other desirable properties, such as robustness, for these techniques. We also derive finite sample complexity bounds for the number of perturbations required for these methods to converge to their expected explanation. Finally, we empirically validate our theory using extensive experimentation on both synthetic and real world datasets.

연구 동기 및 목표

• 편미분 기반(LIME)과 기울기 기반(SmoothGrad) 후행 설명 방법 간의 이론적 연결을 수립하기 위해.
• 두 방법으로부터 설명의 닫힌 형태 표현식을 유도하고, 기대값에서의 수렴성을 보여주기 위해.
• 대표 표본 수 조건 하에서 두 방법의 안정성과 리프시츠 연속성을 증명하기 위해.
• 기대값 설명으로의 수렴을 달성하기 위한 유한 표본 복잡도 한계를 유도하기 위해.
• 이론적 주장들을 합성 및 실세계 데이터셋을 통해 실증적으로 검증하기 위해.

제안 방법

• 연속형 LIME(비이산화된 LIME의 변형)와 SmoothGrad로부터 설명의 명시적 닫힌 형태 표현식을 유도한다.
• 편미분 샘플 수가 증가할수록 두 방법이 기대값에서 동일한 설명으로 수렴함을 보여준다.
• 등가성을 활용하여 리프시츠 연속성을 증명함으로써, 소규모 입력 편미분에 대한 안정성을 확보한다.
• 기대값 설명으로의 수렴을 달성하기 위한 편미분 수에 대한 유한 표본 복잡도 한계를 유도한다.
• 유도된 조건 하에서 두 방법이 선형성 및 기타 바람직한 성질을 만족함을 증명한다.
• 의료, 금융, 전자상거래 분야의 합성 및 실세계 데이터셋을 사용하여 이론적 주장의 실증적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 편미분 기반 및 기울기 기반 설명 방법은 기대값에서 동일한 설명으로 수렴하는가?
• RQ2 연속형 LIME와 SmoothGrad 간의 이론적 등가성을 활용하여 안정성 성질을 증명할 수 있는가?
• RQ3 두 방법이 기대값 설명으로 수렴하기 위해 필요한 유한 표본 복잡도는 무엇인가?
• RQ4 소규모 입력 편미분에 대해 두 방법이 증명된 바에 따라 안정적인가?
• RQ5 편미분 분산과 같은 하이퍼파rameter는 수렴성과 안정성에 어떤 영향을 미치는가?

주요 결과

• 편미분 수가 증가할수록 연속형 LIME와 SmoothGrad는 기대값에서 동일한 설명으로 수렴한다.
• 충분한 수의 샘플을 사용할 경우 두 방법은 리프시츠 연속성이므로 소규모 입력 편미분에 대해 안정적이다.
• 기대값 설명으로의 수렴을 위한 이론적 유한 표본 복잡도 한계가 도출되었다.
• 실증 결과는 두 방법이 이론적 예측보다 더 빠르게 수렴하고, 더 적은 수의 편미분을 필요로 함을 보여준다.
• SmoothGrad는 연속형 LIME보다 더 적은 수의 편미분으로 안정성을 확보하고 더 빠르게 수렴한다.
• 더 작은 편미분 분산은 두 방법 모두 수렴 속도와 안정성 향상에 기여한다.