[논문 리뷰] Surrogate Locally-Interpretable Models with Supervised Machine Learning Algorithms

Linwei Hu, Jie Chen외 2명|arXiv (Cornell University)|2020. 07. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 6인용 수 5

한 줄 요약

이 논문은 기반 모델 기반의 회귀 트리를 사용하여 예측자 공간을 분할하고 각 노드에서 해석 가능한 주효과 모델을 피팅함으로써 복잡한 지도 학습 기반 기계 학습 모델(예: 그래디언트 부스팅 및 랜덤 포레스트)의 국소적 해석 가능성을 보장하면서도 강력한 예측 성능을 유지하는 서rogate 국소 해석 가능 모델을 제안한다. 특히 고차원 설정에서 뛰어난 성능을 발휘한다.

ABSTRACT

Supervised Machine Learning (SML) algorithms, such as Gradient Boosting, Random Forest, and Neural Networks, have become popular in recent years due to their superior predictive performance over traditional statistical methods. However, their complexity makes the results hard to interpret without additional tools. There has been a lot of recent work in developing global and local diagnostics for interpreting SML models. In this paper, we propose a locally-interpretable model that takes the fitted ML response surface, partitions the predictor space using model-based regression trees, and fits interpretable main-effects models at each of the nodes. We adapt the algorithm to be efficient in dealing with high-dimensional predictors. While the main focus is on interpretability, the resulting surrogate model also has reasonably good predictive performance.

연구 동기 및 목표

• 복잡한 지도 학습 기반 기계 학습 모델(예: 그래디언트 부스팅 및 랜덤 포레스트)의 해석 가능성 문제를 해결하기 위해.
• 예측 정확도를 희생시키지 않고 국소 해석 가능성을 제공하는 방법을 개발하기 위해.
• 실제 응용에서 흔히 발생하는 고차원 예측자 공간을 효율적으로 다루기 위해.
• 기반 모델 기반의 분할과 국소 선형 모델을 조합함으로써 해석 가능하고 예측 성능이 뛰어난 서rogate 모델을 만들기 위해.

제안 방법

• 서rogate 모델링의 기초로 피팅된 지도 학습 기반 기계 학습 모델의 반응 표면을 사용한다.
• 기반 모델 기반의 회귀 트리를 사용하여 반응 행동이 균일한 영역을 식별함으로써 예측자 공간을 분할한다.
• 각 분할 영역 내에서 원래의 기계 학습 모델의 국소적 행동을 근사하기 위해 해석 가능한 주효과 모델(예: 선형 모델)을 피팅한다.
• 트리 구축 과정에서 특성 선택 또는 정규화를 통해 고차원 데이터에 적합하도록 알고리즘을 조정한다.
• 분할 영역 전역에 걸쳐 국소 모델을 집계함으로써 국소 해석 가능성과 글로벌 예측 성능을 결합한 서rogate 모델을 구성한다.

실험 결과

연구 질문

• RQ1 복잡한 지도 학습 기반 기계 학습 모델에 대해 국소 해석 가능성을 제공하는 서rogate 모델을 구축할 수 있는가?
• RQ2 해당 서rogate 모델은 원본 모델과 비교해 예측 성능을 얼마나 잘 유지하는가?
• RQ3 이 방법은 고차원 예측자 공간에 효과적으로 스케일링될 수 있는가?
• RQ4 LIME 또는 SHAP와 같은 글로벌 서rogate 모델과 비교해 국소 해석 가능한 모델은 정밀도와 명확성 측면에서 어떻게 다른가?

주요 결과

• 제안된 서rogate 모델은 벤치마크 데이터셋에서 원본 지도 학습 기반 기계 학습 모델과 비교해 높은 예측 정확도를 달성한다.
• 국소 해석 가능성이 크게 향상되었으며, 각 국소 모델이 입력 공간의 특정 영역 내에서 특성 영향에 대한 명확하고 실행 가능한 통찰을 제공한다.
• 기반 모델 기반의 분할을 통해 각 노드 내에서 차원을 감소시킴으로써 고차원 데이터를 효과적으로 처리한다.
• 서rogate 모델은 후행 설명 도구에 의존하지 않고도 특정 입력 영역에서 모델 행동을 이해할 수 있도록 신뢰할 수 있는 국소 진단 기능을 제공한다.