[논문 리뷰] Statistical inference using machine learning and classical techniques based on accumulated local effects (ALE)

Chitu Okoli|arXiv (Cornell University)|2023. 10. 15.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 소규모 데이터셋에서의 신뢰할 수 있는 통계적 추론을 가능하게 하기 위해 부트스트래핑을 활용한 신뢰구간과 새로운 ALE 효과 크기 측정법(ALED, ALER, NALED, NALER)을 도입한다. 이는 누적 국소 효과(ALE) 기반 기계학습 모델의 해석 가능성과 신뢰성을 향상시키며, 비선형적이고 이질적인 관계를 과도하게 단순화하지 않고도 탐지할 수 있도록 한다.

ABSTRACT

Accumulated Local Effects (ALE) is a model-agnostic approach for global explanations of the results of black-box machine learning (ML) algorithms. There are at least three challenges with conducting statistical inference based on ALE: ensuring the reliability of ALE analyses, especially in the context of small datasets; intuitively characterizing a variable's overall effect in ML; and making robust inferences from ML data analysis. In response, we introduce innovative tools and techniques for statistical inference using ALE, establishing bootstrapped confidence intervals tailored to dataset size and introducing ALE effect size measures that intuitively indicate effects on both the outcome variable scale and a normalized scale. Furthermore, we demonstrate how to use these tools to draw reliable statistical inferences, reflecting the flexible patterns ALE adeptly highlights, with implementations available in the 'ale' package in R. This work propels the discourse on ALE and its applicability in ML and statistical analysis forward, offering practical solutions to prevailing challenges in the field.

연구 동기 및 목표

• 소규모 데이터셋에서 오버피팅 위험이 높은 상황에서 ALE 기반 모델 설명에 있어 신뢰할 수 있는 통계적 추론의 부족을 해결한다.
• 변수의 영향력을 결과 스케일과 정규화된 스케일 양쪽에서 측정할 수 있는 직관적이고 모델에 종속되지 않는 효과 크기 측정법을 개발한다.
• 전반적인 효과 요약과 신뢰영역을 조합하여 영향력이 높거나 이질적인 영역을 강조함으로써 더 세밀한 통계적 추론을 가능하게 한다.
• 기존 ALE 계산에 직접 기반하여 계산 비용이 낮은 도구를 제공함으로써 실제 분석 환경에서의 실용성을 확보한다.
• 전통적인 추론 기법을 현대적인 모델에 종속되지 않는 설명 기법과 융합하여 기계학습에서 설명 가능성과 통계적 엄밀성의 격차를 메운다.

제안 방법

• 데이터셋 크기에 따라 조정되는 부트스트래핑을 구현하여 ALE에 대한 신뢰구간을 생성함으로써 소표본 설정에서의 신뢰도를 향상시킨다.
• ALE 이격도(ALED)와 ALE 범위(ALER)를 전역 효과 크기 측정법으로 정의하여 결과 스케일 상의 변수 영향력의 크기를 반영한다.
• 정규화된 형태(NALE, NALER)를 도입하여 다양한 데이터셋과 결과 스케일 간의 효과 크기 비교를 가능하게 한다.
• ALE 곡선을 부트스트래핑하여 통계적으로 유의미한 간격을 식별함으로써 ALE 신뢰영역을 구성한다.
• 모든 방법의 구현과 검증을 위해 'ale' R 패키지를 사용하여 재현 가능성을 확보하고 표준 기계학습 워크플로우에의 통합을 보장한다.
• 전반적인 효과 측정법과 신뢰영역을 조합하여 단일 값 요약에서 놓칠 수 있는 스파이크나 비선형 패턴과 같은 이질적 영향을 탐지한다.

Figure 1 : Simple ALE plots for random forest model of diamond prices

실험 결과

연구 질문

• RQ1 부트스트래핑을 활용한 ALE에 대한 신뢰구간은 어떻게 조정되어 소규모 데이터셋에서의 통계적 추론 신뢰도를 향상시킬 수 있는가?
• RQ2 효과 크기 측정법 중에서 크기와 방향을 모두 반영하면서도 이해하기 쉽고 모델에 종속되지 않는 ALE 효과 크기 측정법은 무엇인가?
• RQ3 ALE에서 유도된 신뢰영역은 어떻게 비선형적이고 이질적인 관계를 탐지하고 해석하는 데 활용될 수 있는가? 이는 전반적 요약에서 가려질 수 있는 패턴을 드러내는 데 기여한다.
• RQ4 제안된 효과 크기 측정법(ALED, ALER, NALED, NALER)이 다양한 데이터셋과 모델 간의 해석 가능성과 비교 가능성에 얼마나 기여하는가?
• RQ5 ALE 신뢰영역과 전반적 효과 측정법을 통합하면, 영향력이 큰 예측자 범위를 식별함으로써 의사결정 지원에 얼마나 기여할 수 있는가?

주요 결과

• ALE에 대한 부트스트래핑을 활용한 신뢰구간은 계산 비용이 낮고 데이터셋 크기에 맞게 조정되어 소표본 설정에서의 신뢰도를 크게 향상시킨다.
• ALE 이격도(ALED)와 ALE 범위(ALER) 측정법은 결과 스케일 상의 변수 영향력을 직관적이고 이해하기 쉽게 요약하며, 정규화된 형태(NALE, NALER)는 다양한 데이터셋 간의 효과 크기 비교를 가능하게 한다.
• ALE 신뢰영역은 특정 입력 범위에서 예측자 영향력이 통계적으로 유의미한 영역을 효과적으로 강조하여, 전반적 요약에서 드러나지 않는 비선형적이고 이질적인 패턴을 드러낸다.
• 높은 ALE 범위와 중간 수준의 ALE 이격도 간의 격차는 신뢰영역을 통해 명확해지며, 이는 극단적 영향력이 특정 데이터 하위범위에서 기인할 수 있음을 시사한다.
• ALE 값 계산이 완료된 이후에는 제안된 측정법의 계산 비용이 극히 낮아져 일상적인 모델 설명 워크플로우에서의 실용성을 확보한다.
• 전반적 효과 측정법과 신뢰영역의 통합은 더 견고하고 세밀한 추론을 가능하게 하며, 변수 우선순위 정하기와 타겟된 개선 전략 수립을 모두 지원한다.

Figure 2 : Zoom-in of ALE plot for x_length for diamond prices