[논문 리뷰] Comparing Explanation Methods for Traditional Machine Learning Models Part 1: An Overview of Current Methods and Quantifying Their Disagreement

Montgomery L. Flora, Corey K. Potvin외 2명|arXiv (Cornell University)|2022. 11. 16.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

이 연구는 기존 기계학습 모델을 위한 전역 및 국소적 설명 방법을 평가하고 비교하며, 상당한 불일치가 존재하는 특성 순위와는 별개로 상위 특성에 대해 중간 수준의 일치를 보임을 입증한다. 극기 기상 및 도로 온도 예측 모델을 사용하여, 충분한 표본 추출 조건에서 다양한 방법 간의 특성 영향 곡선은 잘 일치하는 반면, 특성 중요도 순위는 크게 다름을 발견한다. 이는 방법에 대한 인식이 수반된 해석의 필요성을 강조하며, SHAP에 대한 대안으로 아직 탐색되지 않은 트리 인터프리터(Tree Interpreter)의 실용성을 권장한다.

ABSTRACT

With increasing interest in explaining machine learning (ML) models, the first part of this two-part study synthesizes recent research on methods for explaining global and local aspects of ML models. This study distinguishes explainability from interpretability, local from global explainability, and feature importance versus feature relevance. We demonstrate and visualize different explanation methods, how to interpret them, and provide a complete Python package (scikit-explain) to allow future researchers to explore these products. We also highlight the frequent disagreement between explanation methods for feature rankings and feature effects and provide practical advice for dealing with these disagreements. We used ML models developed for severe weather prediction and sub-freezing road surface temperature prediction to generalize the behavior of the different explanation methods. For feature rankings, there is substantially more agreement on the set of top features (e.g., on average, two methods agree on 6 of the top 10 features) than on specific rankings (on average, two methods only agree on the ranks of 2-3 features in the set of top 10 features). On the other hand, two feature effect curves from different methods are in high agreement as long as the phase space is well sampled. Finally, a lesser-known method, tree interpreter, was found comparable to SHAP for feature effects, and with the widespread use of random forests in geosciences and computational ease of tree interpreter, we recommend it be explored in future research.

연구 동기 및 목표

• 기존 기계학습 모델을 위한 현재의 설명 방법을 통합하고 비교하며, 해석 가능성과 설명 가능성, 국소적 해석과 전역적 해석을 구분한다.
• 인기 있는 설명 방법 간의 특성 중요도 순위와 특성 영향 곡선에서의 불일치 수준을 정량화한다.
• 연구자들이 이러한 방법을 탐색하고 적용할 수 있도록 실용적인 오픈소스 파이썬 패키지(scikit-explain)를 제공한다.
• 특징 방법 간의 불일치가 발생할 경우, 실무자들이 설명 방법을 선택하고 해석하는 데 도움을 준다.
• 특히 극기 예측과 같은 고위험 분야에서 기계학습 모델에 대한 신뢰를 구축하는 데 있어 방법 선택의 중요성을 부각시킨다.

제안 방법

• 이 연구는 극기 기상 예측 및 영하도 도로 표면 온도 예측과 같은 두 가지 실제 기계학습 응용 분야에서 SHAP, LIME, 순열 중요도, 지니 중요도, 트리 인터프리터(TI) 등의 다양한 설명 방법을 평가한다.
• 상위 10개 특성에 대한 상관관계 및 일치도 측정을 통해 방법 간의 특성 중요도 순위를 비교한다.
• 특성 영향 곡선을 시각화하고, 특히 잘 표본화된 단계 공간에서 형태와 크기의 일치 여부를 중심으로 방법 간 정량적 비교를 수행한다.
• 설명 출력의 계산 및 시각화를 표준화하기 위해 자체 개발한 파이썬 패키지인 scikit-explain을 개발하고 활용한다.
• 특성 순위와 영향 곡선에 대해 방법 쌍 간의 일치도를 측정하는 통계적 방법을 사용해 불일치를 정량화한다.
• 모델은 Warning Decision Support System - Integrated Publishing System (WoFS) 및 도로 표면 온도 데이터셋에서 수집한 실험 데이터를 기반으로 훈련된다.

실험 결과

연구 질문

• RQ1 기존 기계학습 모델에 대해 다양한 설명 방법은 특성 중요도 순위에서 어떻게 비교되는가?
• RQ2 특성 순위를 내릴 때, 설명 방법 간 상위 특성에 대해 어느 정도 일치하는가?
• RQ3 다양한 입력 조건에서 다양한 설명 방법이 생성한 특성 영향 곡선은 얼마나 일관된가?
• RQ4 SHAP에 비해 트리 인터프리터 방법의 특성 영향 추정 성능은 어느 정도인가?
• RQ5 설명 방법 간의 불일치는 극기 기상 예측과 같은 고위험 기계학습 응용 분야에서 신뢰와 해석에 어떤 영향을 미치는가?

주요 결과

• 평균적으로 두 개의 설명 방법은 상위 10개 특성 중 상위 6개 특성의 정체성을 공유하지만, 상위 10개 내에서 순위가 일치하는 특성 수는 2~3개에 불과하여 순위 순서에서 상당한 불일치가 있음을 시사한다.
• 단계 공간이 잘 표본화된 조건에서 다양한 방법 간의 특성 영향 곡선은 높은 일치도를 보이며, 국소적 모델 행동의 신뢰할 수 있는 추정이 가능함을 시사한다.
• 트리 인터프리터(TI)는 SHAP와 거의 완벽하게 일치하는 특성 영향 곡선을 생성하여 전역적 영향 시각화에서 강력한 일관성을 보였다.
• 상호상관이 높은 특성에 대한 알려진 문제에도 불구하고, TI의 특성 중요도 순위는 지니 중요도와 유사했으며, 실무 적용 가능성 잠재력을 보였다.
• 이 연구는 현재 연구에서 크나큰 격차를 드러내며, 두 개 이상의 특성 간 상호작용을 설명 방법에서 탐색하지 못하고 있으며, 이는 두 개 이상의 특성에 대해 계산적으로 비가역적인 경우가 많기 때문이다.
• 특히 지구과학 분야에서 랜덤 포레스트가 널리 사용되는 점을 감안할 때, 트리 인터프리터의 계산 효율성과 뛰어난 성능을 고려해 향후 연구를 권장한다.