[논문 리뷰] Triplot: model agnostic measures and visualisations for variable importance in predictive models that take into account the hierarchical correlation structure

Katarzyna Pȩkala, Katarzyna Woźnica외 1명|arXiv (Cornell University)|2021. 04. 07.

Explainable Artificial Intelligence (XAI)참고 문헌 6인용 수 5

한 줄 요약

이 논문은 특성 간 계층적 상관관계를 통합하는 모델에 종속되지 않는 프레임워크인 Triplot을 소개한다. 상관관계가 있는 변수들을 '아이템'으로 묶고 블록 순열 및 LIME 유사 방법을 사용함으로써, 전역 및 국소 모델 설명의 해석 가능성 향상에 기여하며, 실제 데이터셋에 대한 실험적 검증을 통해 다중공선성으로 인한 오해를 줄였다.

ABSTRACT

One of the key elements of explanatory analysis of a predictive model is to assess the importance of individual variables. Rapid development of the area of predictive model exploration (also called explainable artificial intelligence or interpretable machine learning) has led to the popularization of methods for local (instance level) and global (dataset level) methods, such as Permutational Variable Importance, Shapley Values (SHAP), Local Interpretable Model Explanations (LIME), Break Down and so on. However, these methods do not use information about the correlation between features which significantly reduce the explainability of the model behaviour. In this work, we propose new methods to support model analysis by exploiting the information about the correlation between variables. The dataset level aspect importance measure is inspired by the block permutations procedure, while the instance level aspect importance measure is inspired by the LIME method. We show how to analyze groups of variables (aspects) both when they are proposed by the user and when they should be determined automatically based on the hierarchical structure of correlations between variables. Additionally, we present the new type of model visualisation, triplot, which exploits a hierarchical structure of variable grouping to produce a high information density model visualisation. This visualisation provides a consistent illustration for either local or global model and data exploration. We also show an example of real-world data with 5k instances and 37 features in which a significant correlation between variables affects the interpretation of the effect of variable importance. The proposed method is, to our knowledge, the first to allow direct use of the correlation between variables in exploratory model analysis.

연구 동기 및 목표

• 기존의 모델 설명 방법이 특성 간 상관관계를 忽시함으로써 오해의 소지가 있는 해석을 초래하는 한계를 해결하기 위해.
• 특성 간 계층적 상관관계를 고려한 전역 및 국소 변수 중요도를 위한 통합 프레임워크를 개발하기 위해.
• 상관관계 구조, 특성 그룹, 예측 기여도를 하나의 고정보 밀도 플롯에 통합하는 새로운 시각화 기법인 '트리플롯(trip lot)'을 도입하기 위해.
• 사용자 정의 및 상관관계 구조 기반 자동 도출을 통한 변수 그룹화를 가능하게 하여 모델 설명 가능성 향상에 기여하기 위해.
• 다양한 상관관계가 있는 특성들이 영향을 미치는 실제 세계 데이터셋에서 본 방법의 효과성을 입증하기 위해.

제안 방법

• 블록 순열 절차를 영감으로 삼은 전역 변수 중요도 측정법을 제안하여, 상관관계가 있는 특성 그룹을 고려한다.
• LIME 기반의 국소 변수 중요도 방법을 도입하여, 개별 변수가 아닌 그룹화된 '아이템'을 기반으로 예측을 설명하도록 조정한다.
• 특성 상관관계의 계층적 클러스터링을 활용해 설명을 위한 의미 있는 변수 그룹(아이템)을 자동으로 식별한다.
• 세 개의 패널(특성 상관관계 구조, 아이템 중요도, 예측 기여도)을 포함하는 트리플롯 시각화 기법을 개발한다.
• 다양한 예측 모델, 특히 블랙박스 모델과의 호환성을 확보하기 위해 모델에 종속되지 않는 계산 방식을 적용한다.
• R 패키지 'triplot'로 구현하여 GPL-3.0 라이선스 하에 GitHub에 공개하여 재현 가능한 연구를 지원한다.

실험 결과

연구 질문

• RQ1 예측 모델에서 특성 간 계층적 상관관계를 고려하여 변수 중요도를 어떻게 재정의할 수 있는가?
• RQ2 특성 간 상관관계를 忽시할 경우 모델 설명에서 얼마나 심각한 오해가 발생하는가?
• RQ3 상관관계 기반 자동 그룹화가 국소 및 전역 모델 설명의 안정성과 해석 가능성에 기여하는가?
• RQ4 트리플롯 시각화 기법이 다양한 분석 수준에서 모델 행동을 효과적으로 전달하는 데 어떤 기여를 하는가?
• RQ5 고차원적이고 상관관계가 높은 데이터셋에서 특성 그룹화가 모델 설명의 정확성과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 다중공선성으로 인한 변수 중요도 오해 위험을 크게 줄였으며, 특히 상관관계가 높은 특성들이 포함된 데이터셋에서 유의미한 효과를 보였다.
• FIFA 데이터셋에서는 '이동', '스킬', '정신력'과 같은 아이템이 선수 가치 예측에 강한 정적 기여를 한 반면, '수비'와 '골키퍼'는 미미하거나 부정적인 영향을 미쳤다.
• 트리플롯 시각화 기법은 상관관계 구조, 아이템 중요도, 예측 기여도를 성공적으로 통합하여 전역 및 국소 설명 간 일관된 해석 가능성을 확보했다.
• 상관관계 구조 기반 자동 그룹화를 통해 '신체적 특성'과 '공격성'과 같은 일부 특성 그룹이 예측에 거의 영향을 주지 않음을 밝혀내어 설명의 초점을 향상시켰다.
• 고도로 상관관계가 있는 37개 특성, 5,000개 인스턴스로 구성된 데이터셋에서 기존의 변수 중요도 방법에 비해 안정성과 해석 가능성 향상 효과를 입증했다.
• 트리플롯 R 패키지는 상관관계 인식 변수 그룹화를 지원하며, 수동 및 자동 아이템 생성을 모두 가능하게 하여 재현 가능한 오픈소스 모델 설명 분석을 가능하게 한다.