[논문 리뷰] Synthetic Benchmarks for Scientific Research in Explainable Machine Learning

Yang Liu, Sujay Khandagale외 2명|arXiv (Cornell University)|2021. 06. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 73인용 수 14

한 줄 요약

이 논문은 설명 가능한 AI에서 기능 할당 방법을 평가하기 위한 구성 가능한 데이터셋과 함께 합성 벤치마크 세트인 XAI-Bench를 소개한다. 알려진 데이터 분포를 통해 정확한 지표인 샤플리 값의 지표를 계산할 수 있도록 함으로써, SHAP, LIME, L2X와 같은 설명 가능성 기법을 특성 상관관계 및 모델 유형과 같은 다양한 설정에서 효율적이고 재현 가능한 벤치마킹이 가능하게 하여 인간 평가 이전에 개발 및 실패 탐지 속도를 크게 향상시킨다.

ABSTRACT

As machine learning models grow more complex and their applications become more high-stakes, tools for explaining model predictions have become increasingly important. This has spurred a flurry of research in model explainability and has given rise to feature attribution methods such as LIME and SHAP. Despite their widespread use, evaluating and comparing different feature attribution methods remains challenging: evaluations ideally require human studies, and empirical evaluation metrics are often data-intensive or computationally prohibitive on real-world datasets. In this work, we address this issue by releasing XAI-Bench: a suite of synthetic datasets along with a library for benchmarking feature attribution algorithms. Unlike real-world datasets, synthetic datasets allow the efficient computation of conditional expected values that are needed to evaluate ground-truth Shapley values and other metrics. The synthetic datasets we release offer a wide variety of parameters that can be configured to simulate real-world data. We demonstrate the power of our library by benchmarking popular explainability techniques across several evaluation metrics and across a variety of settings. The versatility and efficiency of our library will help researchers bring their explainability methods from development to deployment. Our code is available at https://github.com/abacusai/xai-bench.

연구 동기 및 목표

• 설명 가능한 AI에서 기능 할당 방법을 평가하고 비교하는 데 있어 신뢰할 수 있고, 효율적이며 객관적인 지표가 부족한 문제를 해결하기 위해.
• 실제 데이터셋의 한계를 극복하기 위해, 지표로 사용되는 샤플리 값 계산이 계산적으로 불가능하며 지표가 일반적으로 알려져 있지 않은 경우가 많기 때문이다.
• 사람의 평가 이전에 설명 가능성 알고리즘을 스케일링 가능하고 재현 가능하며 구성 가능한 환경에서 벤치마킹할 수 있는 환경을 제공하기 위해.
• 고도의 특성 상관관계 하에서 성능 저하와 같은 미묘한 실패 모드를 사전에 탐지할 수 있도록 하기 위해.
• 빠르고 자동화된 평가 파이프라인을 제공하여 설명 가능성 기법의 개발에서 구현으로의 전환을 가속화하기 위해.

제안 방법

• 저자들은 지표 계산에 필요한 조건부 기대값을 정확히 계산할 수 있도록 알려진 지표 데이터 분포를 갖는 합성 데이터셋을 생성한다.
• 이 라이브러리는 특성 상관관계(ρ), 데이터 분포 유형(Gaussian, Bernoulli 등), 특성 스케일, 타겟 생성 함수와 같은 구성 가능한 데이터셋 매개변수를 지원한다.
• 주요 평가 지표인 지표에 대한 샤플리 값 거리, ROAR(제거 후 재학습), 충실도, 단조성, 비일관성 등 정확한 계산이 가능하다.
• 실제 데이터셋을 공분산 및 분포 일치를 사용하여 합성 유사체로 변환하는 것에 의해 현실적인 데이터를 시뮬레이션하면서도 지표 해석 가능성을 유지할 수 있다.
• SHAP, LIME, L2X와 같은 인기 있는 설명기구와 통합되며, 모델 유형, 특성 상관관계, 데이터 분포 등 다양한 축을 기준으로 벤치마킹이 가능하다.
• 재현성과 커뮤니티 기여를 지원하기 위해 API 접근성, 문서화, 실험 결과를 제공한다.

실험 결과

연구 질문

• RQ1 지표가 알려진 합성 데이터 분포를 갖는 다양한 설정에서 다양한 기능 할당 방법의 성능은 어떻게 되는가?
• RQ2 특성 상관관계가 설명 가능성 기법의 성능에 얼마나 큰 영향을 미치며, 이는 합성 벤치마크를 통해 체계적으로 탐지할 수 있는가?
• RQ3 합성 데이터셋은 실세계 데이터 특성을 효과적으로 시뮬레이션할 수 있으며, 평가 지표의 정확한 계산이 가능한가?
• RQ4 충실도, 단조성 등 평가 지표 중 어떤 것이 설명 가능성 알고리즘의 실패 모드에 가장 민감한가?
• RQ5 합성 벤치마크는 인간 평가 이전에 새로운 설명 가능성 기법의 개발 및 개선을 어떻게 이끌 수 있는가?

주요 결과

• XAI-Bench 라이브러리는 알려진 데이터 분포를 갖는 합성 데이터셋을 활용하여 지표 샤플리 값과 기타 지표를 정확히 계산할 수 있다.
• SHAP와 LIME는 낮은에서 중간 수준의 특성 상관관계(ρ ≤ 0.5)에서는 일관된 성능을 보였지만, 고상관관계 설정에서는 성능 저하가 관찰되었다.
• ROAR 지표는 L2X와 MAPLE가 특성 제거에 더 민감함을 드러내어 설명의 정합성에 잠재적 불안정성이 있음을 시사했다.
• 충실도와 단조성 지표는 고상관관계 하에서 SHAPR과 L2X에 체계적인 실패를 탐지했으며, SHAPR은 SHAP 대비 비일관성 지표가 1.8배 증가했다.
• 이 라이브러리는 설명 가능성 기법이 고상관관계 하에서 실패하는 경우가 많다는 점을 성공적으로 규명했으며, 지표 레이블이 없는 실세계 데이터셋에서는 이러한 실패 모드를 탐지하기 어려운 점을 확인했다.
• 저자들은 공분산 및 분포 일치를 사용하여 실데이터에서 합성 데이터셋을 효과적으로 변환할 수 있음을 입증했으며, 이는 현실적이면서도 해석 가능한 데이터에서의 벤치마킹을 가능하게 했다.