[논문 리뷰] Robust and Stable Black Box Explanations

Himabindu Lakkaraju, Nino Arsov외 1명|arXiv (Cornell University)|2020. 11. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 45인용 수 5

한 줄 요약

이 논문은 블랙박스 모델의 후행 해석을 위한 강건하고 안정적인 해석을 생성하는 새로운 적대적 훈련 프레임워크인 ROPE를 제안한다. 입력과 분포에 대한 적대적 편향 최적화를 통해 ROPE는 분포 이동과 소규모 입력 편향에 대해 높은 충실도를 유지하는 해석을 생성하며, 실제 데이터셋과 시뮬레이션 데이터셋에서 LIME, SHAP, MUSE보다 강건성과 안정성 면에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

As machine learning black boxes are increasingly being deployed in real-world applications, there has been a growing interest in developing post hoc explanations that summarize the behaviors of these black boxes. However, existing algorithms for generating such explanations have been shown to lack stability and robustness to distribution shifts. We propose a novel framework for generating robust and stable explanations of black box models based on adversarial training. Our framework optimizes a minimax objective that aims to construct the highest fidelity explanation with respect to the worst-case over a set of adversarial perturbations. We instantiate this algorithm for explanations in the form of linear models and decision sets by devising the required optimization procedures. To the best of our knowledge, this work makes the first attempt at generating post hoc explanations that are robust to a general class of adversarial perturbations that are of practical interest. Experimental evaluation with real-world and synthetic datasets demonstrates that our approach substantially improves robustness of explanations without sacrificing their fidelity on the original data distribution.

연구 동기 및 목표

• 기존의 후행 해석 방법이 가지는 강건성과 안정성 부족 문제를 해결하기 위해.
• 원래 데이터 분포에서의 해석 충실도를 유지하면서도 분포 이동과 소규모 입력 편향에 대해 강건한 해석을 보장하는 프레임워크를 개발하기 위해.
• 의료 및 형사 사법과 같은 고위험 분야에서 신뢰할 수 있고 이식 가능한 해석을 생성함으로써 해석 가능성 향상을 위해.
• 일반적인 실용적 분포 이동, 특히 근사 공변수 편향을 포함한 클래스에 대해 강건성을 체계화하고 구현하기 위해.
• 해석의 적대적 훈련이 분포 이동 상황에서의 구조적 안정성과 충실도 향상에 기여함을 입증하기 위해.

제안 방법

• 정의된 편향 집합 내에서 가장 악성인 분포 이동 상황에서도 해석 충실도를 극대화하는 최소-최대 최적화 목표를 제안한다.
• 개별 공변수의 편향을 포함하여 실용적인 분포 이동 집합을 정의하여, 해석에서 근사 의존성을 유지한다.
• 선형 모델(로지스틱 회귀)과 결정 집합 유형의 두 가지 해석 유형을 위한 특화된 최적화 절차를 설계하여 기울기 기반 훈련을 가능하게 한다.
• 입력 수준의 편향(적대적 강건성)과 분포 수준의 이동(분포 강건성)에 모두 강건한 해석을 생성하기 위해 적대적 훈련을 활용한다.
• 가중치 기반 충실도 목표를 통해 단일 및 서브그룹 기반 블랙박스 모델(예: 다중 로지스틱 회귀 또는 결정 집합)에 프레임워크를 적용한다.
• 연속적 파rameter 모델의 경우 경사 하강법을 활용하고, 결정 집합과 같은 이산적 구조의 경우 맞춤형 최적화를 적용한다.

실험 결과

연구 질문

• RQ1 원래 데이터 분포에서의 충실도를 희생시키지 않고도 후행 해석을 분포 이동에 대해 강건하게 만들 수 있는가?
• RQ2 해석의 적대적 훈련이 소규모 입력 편향 상황에서의 안정성 향상에 어떻게 기여하는가?
• RQ3 통합 프레임워크를 통해 선형 모델과 결정 집합 모두에 대해 강건한 해석을 생성할 수 있는가?
• RQ4 LIME, SHAP, MUSE와 비교해 ROPE로 생성된 해석이 분포 이동 상황에서도 얼마나 높은 구조 유사성을 유지하는가?
• RQ5 근사 공변수 편향에 대한 강건성이, 허위 상관관계 탐지에서 해석의 신뢰성 향상에 기여하는가?

주요 결과

• 범죄 보석 데이터셋에서 단일 로지스틱 회귀 블랙박스를 설명할 때, ROPE logistic과 ROPE logistic multi는 LIME 및 SHAP보다 계수 불일치율이 38.2% 낮게 나타났다.
• 다중 로지스틱 회귀 블랙박스의 경우, ROPE logistic multi는 기준 모델 대비 계수 불일치율을 최소 38.05% 감소시켰다.
• 범죄 보석 데이터셋에서 단일 또는 다중 결정 집합을 설명할 때, ROPE dset multi는 MUSE 대비 각각 42.3%와 60.4% 높은 규칙 일치율을 기록했다.
• ROPE dset multi는 기준 모델 대비 최소 37% 높은 특성 일치율을 확보하여, 블랙박스와의 강한 구조적 일치를 나타냈다.
• 입력 편향 상황에서 평가했을 때, ROPE 해석은 기준 모델 대비 18.21%에서 21.08% 더 높은 구조적 유사성을 확보하여 뛰어난 안정성을 입증했다.
• 프레임워크는 원래 데이터 분포에서의 충실도 손실 없이 적대적 입력 편향과 분포 이동에 모두 강건성을 향상시켰다.