[논문 리뷰] MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation

Wenzhuo Yang, Jia Li외 2명|arXiv (Cornell University)|2022. 05. 31.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

MACE는 강화학습을 사용한 특성 최적화와 기울기 없는 강하법을 통한 근접성 향상을 통해 비미분 가능 모델과 다수의 값을 가진 순서형 특성에서도 효율적이고 고품질의 역인과적 설명을 생성할 수 있는 모델 독립적 프레임워크이다. DiCE 및 CERTIFAI와 같은 이전 방법보다 빠른 추론 속도와 더 나은 희소성 및 근접성을 달성한다.

ABSTRACT

Counterfactual explanation is an important Explainable AI technique to explain machine learning predictions. Despite being studied actively, existing optimization-based methods often assume that the underlying machine-learning model is differentiable and treat categorical attributes as continuous ones, which restricts their real-world applications when categorical attributes have many different values or the model is non-differentiable. To make counterfactual explanation suitable for real-world applications, we propose a novel framework of Model-Agnostic Counterfactual Explanation (MACE), which adopts a newly designed pipeline that can efficiently handle non-differentiable machine-learning models on a large number of feature values. in our MACE approach, we propose a novel RL-based method for finding good counterfactual examples and a gradient-less descent method for improving proximity. Experiments on public datasets validate the effectiveness with better validity, sparsity and proximity.

연구 동기 및 목표

• 기존 최적화 기반의 역인과적 설명 방법이 모델의 미분 가능성을 가정하고 순서형 특성을 연속형으로 취급한다는 점에서 발생하는 한계를 해결하기 위해.
• XGBoost와 같이 비미분 가능 모델이나 고카디널리티 순서형 특성을 가진 모델에서도 효율적인 역인과적 설명 생성을 가능하게 하기 위해.
• 유효성, 희소성, 근접성의 향상을 동시에 고려하면서도 계산 효율성을 유지하는 방식으로 역인과적 설명의 품질을 향상시키기 위해.
• 실제 생산 환경에서의 보편적 적용을 위해 실용적이고 사용이 쉬운 툴킷을 개발하기 위해.

제안 방법

• MACE는 네 단계로 구성된 파이프라인을 사용한다: 역인과적 특성 선택, REINFORCE 기반 강화학습 에이전트를 통한 역인과적 특성 최적화, 역인과적 예시 선택, 연속형 특성의 정밀 조정.
• 강화학습 기반 최적화 방법은 최소한의 행동 가능 특성 변경을 통해 원하는 모델 출력을 도출하는 정책을 학습한다.
• 기울기 없는 강하법(MACE-GLD)을 사용하여 연속형 특성을 정밀 조정하고 원래 인스턴스에 대한 근접성을 향상시킨다.
• 순서형 특성은 원-핫 인코딩 없이 처리되어 새로운 연속형 변수가 도입되지 않으며, 희소성이 유지된다.
• 프레임워크는 모델 독립적이며, 최적화 과정에서 관련된 시계열 특성을 대체함으로써 표본 및 시계열 데이터 모두를 지원한다.
• 기본 모델에 대한 기울기 계산을 피하므로, XGBoost와 같은 비미분 가능 모델에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 XGBoost와 같은 비미분 가능 모델을 효과적으로 다룰 수 있는 모델 독립적 역인과적 설명 프레임워크는 가능한가?
• RQ2 원-핫 인코딩 없이도 고카디널리티 순서형 특성이 있는 경우에 효율적인 역인과적 설명을 생성할 수 있는가?
• RQ3 강화학습을 사용하여 역인과적 특성 선택을 최적화하면서도 희소성과 근접성을 유지할 수 있는가?
• RQ4 기울기 없는 강하법이 연속형 특성의 근접성 향상에 기울기 기반 방법보다 더 효과적인가?
• RQ5 고차원 시계열 데이터에 대해서도 효율성과 역인과적 설명 품질을 유지하면서 확장 가능한가?

주요 결과

• MACE-RL과 MACE-GLD는 시계열 데이터에서 Greedy보다 10배 이상 빠른 추론 시간을 달성했으며, 희소성 수준은 유사하게 유지되었다.
• Adult 및 Titanic 데이터셋에서 MACE는 DiCE 및 CERTIFAI보다 높은 유효성, 더 나은 희소성, 향상된 근접성을 확보한 역인과적 예시를 생성했다.
• 대부분의 데이터셋에서 쿼리당 실행 시간을 2초 이내로 단축시켜 실무 환경에의 적용 가능성을 확보했다.
• Taxonomist 데이터셋의 시계열 분류 문제에서 MACE-GLD와 MACE-RL은 Greedy와 비슷한 희소성 점수(1–2점 이내)를 확보했지만, 쿼리당 1.8초의 시간으로 처리했고, Greedy는 19–32초가 소요되었다.
• 강화학습 기반 정책은 '교육 수준 상향'이나 '수입 증가'와 같은 실질적이고 타당한 역인과적 조치를 학습하여 데이터 내 실질적인 상관관계를 반영했다.
• MACE 기반으로 개발된 툴킷은 내부 AI 워크플로우에 실용적으로 통합 가능함을 입증하며, 실제 적용 가능성에 기여했다.