[논문 리뷰] DALE: Differential Accumulated Local Effects for efficient and accurate global explanations

Vasilis Gkolemis, Theodore Dalamagas외 1명|arXiv (Cornell University)|2022. 10. 10.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 고차원 기계학습 모델에서 누적 국소 효과(ALE)를 계산하기 위한 새로운 효율적이고 OOD(외부 분포)에 강건한 근사 방법인 DALE(Differential Accumulated Local Effects)를 제안한다. 자동 미분를 활용해 단일 순방향 전파 동안에 특성 효과를 계산함으로써 DALE는 기존 ALE 대비 수개의 주기 차수 빠른 성능 향상을 이룩하면서도, 내부 분포 샘플링을 유지함으로써 더 정확한 해석을 가능하게 한다. 특히 넓은 박스 크기에서 성능이 뛰어나며, 합성 데이터 포인트를 도입하지 않는다.

ABSTRACT

Accumulated Local Effect (ALE) is a method for accurately estimating feature effects, overcoming fundamental failure modes of previously-existed methods, such as Partial Dependence Plots. However, ALE's approximation, i.e. the method for estimating ALE from the limited samples of the training set, faces two weaknesses. First, it does not scale well in cases where the input has high dimensionality, and, second, it is vulnerable to out-of-distribution (OOD) sampling when the training set is relatively small. In this paper, we propose a novel ALE approximation, called Differential Accumulated Local Effects (DALE), which can be used in cases where the ML model is differentiable and an auto-differentiable framework is accessible. Our proposal has significant computational advantages, making feature effect estimation applicable to high-dimensional Machine Learning scenarios with near-zero computational overhead. Furthermore, DALE does not create artificial points for calculating the feature effect, resolving misleading estimations due to OOD sampling. Finally, we formally prove that, under some hypotheses, DALE is an unbiased estimator of ALE and we present a method for quantifying the standard error of the explanation. Experiments using both synthetic and real datasets demonstrate the value of the proposed approach.

연구 동기 및 목표

• 고차원 데이터셋에서 ALE의 계산 비효율성 문제를 해결하기 위해.
• 박스 크기가 클 경우 ALE가 외부 분포(OOD) 샘플링에 취약한 문제를 해결하기 위해.
• 내부 분포를 유지하면서도 확장 가능하고, 미분 가능한 글로벌 특성 효과 설명 방법을 개발하기 위해.
• DALE의 비편향성에 대한 엄밀한 증명과 근사값의 표준 오차 정량화를 제공하기 위해.
• 학습 데이터셋에서 사전에 효과를 계산함으로써, 근사적인 계산 비용이 거의 들지 않는 다중 해상도 특성 효과 플롯을 가능하게 하기 위해.

제안 방법

• DALE는 자동 미분 가능 프레임워크를 사용해 각 입력 특성에 대해 모델 출력을 미분함으로써 특성 효과를 계산한다.
• 모델의 기울기 값을 학습 데이터 포인트를 통해 통합하여 ALE 적분을 근사함으로써, 합성 OOD 샘플을 피한다.
• 학습 세트를 한 번의 순방향 전파만으로 통과시키며, 모든 특성의 기울기를 동시에 계산한다.
• 목표 특성의 박스에 걸쳐 특성 효과를 누적시키며, 국소 변화를 기울기 값을 이용해 추정한다.
• 모든 추정에 사용된 샘플이 학습 분포에서 유래함을 보장함으로써 OOD 편향을 제거한다.
• 학습 세트 내 기울기 추정치의 분산을 바탕으로 표준 오차 추정기를 유도한다.

실험 결과

연구 질문

• RQ1 자동 미분 기반의 비선형 미분 가능 방법이 몬테카를로 기반 ALE 근사보다 상당히 높은 계산 효율성을 달성할 수 있는가?
• RQ2 전통적인 ALE가 비현실적이게 되는 고차원 특성 공간에서도 DALE는 정확성을 유지하는가?
• RQ3 박스 크기가 클 경우 OOD 샘플링 문제가 발생할 때 DALE의 성능이 ALE와 비교해 어떻게 되는가?
• RQ4 일반적인 가정 하에 DALE가 진짜 ALE의 비편향 추정자인가?
• RQ5 사전에 계산된 DALE 효과는 추가 비용이 거의 들지 않는 다중 해상도 특성 효과 시각화를 지원할 수 있는가?

주요 결과

• DALE는 특성 차원에 관계없이 실행 시간을 거의 일정하게 유지하며, ALE는 선형적으로 증가한다.
• 자전거 공유 데이터셋에서, DALE는 조밀한 분할(100개의 K)에서도 낮은 NMSE(0.007)를 유지하지만, ALE는 OOD 샘플링로 인해 급격히 증가(0.43)한다.
• 특성 Xhour에 대해, DALE의 근사는 다양한 박스 크기에서도 안정적이지만, ALE는 더 넓은 박스 크기에서 상당히 악화된다.
• 부드러운 조건이 충족될 경우, DALE가 ALE의 비편향 추정자임을 엄밀히 증명하였다.
• DALE에서 사전 계산된 기울기 값 덕분에 추가 계산 비용이 거의 들지 않는 다중 해상도 특성 효과 플롯이 가능하다.
• 다양한 해상도에서 특성 효과 플롯을 생성할 때 DALE는 거의 0에 수렴하는 계산 비용을 기록하여, 상호작용적이고 적응형 설명 워크플로우를 가능하게 한다.