[논문 리뷰] Comparing Explanation Methods for Traditional Machine Learning Models Part 2: Quantifying Model Explainability Faithfulness and Improvements with Dimensionality Reduction

Montgomery L. Flora, Corey K. Potvin외 2명|arXiv (Cornell University)|2022. 11. 18.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 연구는 대기 과학에 응용된 기계학습 모델에서 특성 순위 방법의 신뢰성을 평가하며, 상관관계가 있는 특성을 줄인 후 순열 중요도가 가장 높은 신뢰성을 확보함을 입증한다. 차원 축소는 설명 가능성의 정확도를 크게 향상시키고 순위 불확실성을 2~10배 감소시켜 기상학적 응용에서 더 신뢰할 수 있는 모델 해석을 위한 실용적인 길을 제시한다.

ABSTRACT

Machine learning (ML) models are becoming increasingly common in the atmospheric science community with a wide range of applications. To enable users to understand what an ML model has learned, ML explainability has become a field of active research. In Part I of this two-part study, we described several explainability methods and demonstrated that feature rankings from different methods can substantially disagree with each other. It is unclear, though, whether the disagreement is overinflated due to some methods being less faithful in assigning importance. Herein, "faithfulness" or "fidelity" refer to the correspondence between the assigned feature importance and the contribution of the feature to model performance. In the present study, we evaluate the faithfulness of feature ranking methods using multiple methods. Given the sensitivity of explanation methods to feature correlations, we also quantify how much explainability faithfulness improves after correlated features are limited. Before dimensionality reduction, the feature relevance methods [e.g., SHAP, LIME, ALE variance, and logistic regression (LR) coefficients] were generally more faithful than the permutation importance methods due to the negative impact of correlated features. Once correlated features were reduced, traditional permutation importance became the most faithful method. In addition, the ranking uncertainty (i.e., the spread in rank assigned to a feature by the different ranking methods) was reduced by a factor of 2-10, and excluding less faithful feature ranking methods reduces it further. This study is one of the first to quantify the improvement in explainability from limiting correlated features and knowing the relative fidelity of different explainability methods.

연구 동기 및 목표

• 기상 예측 및 도로 표면 온도 예측에 사용되는 기계학습 모델에서 다양한 특성 순위 방법의 신뢰성 평가
• 특성 상관관계가 설명 가능성 방법 간의 이견을 어떻게 증폭시키는지와 차원 축소가 이 문제를 완화하는지 조사
• 고차원이고 상관관계가 높은 특성을 가진 실제 지구과학 데이터셋에서 가장 높은 신뢰성을 보이는 설명 방법 규명
• 저신뢰도 방법을 제거하고 특성 축소 기법을 적용함으로써 순위 불확실성 감소
• 기상학적 기계학습 응용에서 신뢰할 수 있는 설명 가능성 방법을 선택하는 데 실질적인 지침 제공

제안 방법

• 연구는 두 가지 대기 과학 데이터셋을 사용한다: WoFS 출력에서의 폭풍 예측 및 영하 온도의 도로 표면 온도 예측.
• SHAP, LIME, ALE 분산, 로지스틱 회귀 계수, 다양한 순열 중요도 변종(예: 전진/후진 패assing, 단일/다중 패assing)을 포함한 다수의 특성 순위 방법을 평가한다.
• 신뢰성은 Covert 등(2020)에서 유도한 방법을 활용하여 측정한다. 이 방법은 실제 정답이 없더라도 특성 중요도와 모델 성능 변화 간의 일관성으로 정확도를 추정한다.
• 상관관계가 높은 특성을 제거하기 위해 차원 축소 기법을 적용하여 설명 가능성 정확도와 순위 불확실성에 미치는 영향을 평가한다.
• 순위 불확실성은 다양한 방법 간의 특성 순위 분포로 측정되며, 저신뢰도 방법을 제외한 후의 감소 정도를 정량화한다.
• 베이지안 최적화를 통해 초모수를 최적화한 로지스틱 회귀 및 랜덤 포레스트 모델을 원본 및 축소된 특성 집합에 대해 훈련하고 분석을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 특성 순위 방법이 실제 모델 성능 기여도에 비해 얼마나 높은 신뢰성을 보이는가?
• RQ2 특성 상관관계가 설명 가능성 방법 간의 이견을 얼마나 심화시키는가?
• RQ3 차원 축소가 특성 순위 방법의 정확도에 어떤 영향을 미치는가?
• RQ4 저신뢰도 설명 방법을 제거하면 순위 불확실성이 감소하는가?
• RQ5 상관관계가 높은 특성을 제거한 후 어떤 특성 순위 방법이 가장 높은 신뢰성을 확보하는가?

주요 결과

• 차원 축소 이전에는 상관관계가 높은 특성의 영향으로 SHAP, LIME, ALE 분산, 로지스틱 회귀 계수 등이 순열 중요도보다 일반적으로 더 높은 신뢰성을 보였다.
• 상관관계가 높은 특성을 축소한 후 기존의 순열 중요도가 가장 높은 신뢰성을 확보하며, 다른 방법들을 압도했다.
• 다양한 방법 간의 특성 순위 분포로 측정된 순위 불확실성은 차원 축소 후 2~10배 감소했다.
• 저신뢰도 특성 순위 방법을 제거함으로써 순위 불확실성이 추가로 감소하여, 방법 선택이 설명 가능성 신뢰도 향상에 기여함을 시사했다.
• 차원 수가 증가할수록 방법 간 정확도 차이가 감소하여 고차원 데이터셋에서는 설명 가능성 방법의 보다 세밀한 평가가 필요함을 시사했다.
• 특성 순위 방법은 기존 방법 대비 계산 비용이 저렴한 특성 선택 도구로 활용될 수 있으며, 강력한 대안이 될 수 있다.