[논문 리뷰] Grouped Feature Importance and Combined Features Effect Plot

Quay Au, Julia Herbinger외 3명|arXiv (Cornell University)|2021. 04. 23.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

이 논문은 순열, 재적합 및 셰플리 기반 방법을 사용하여 모델에 종속되지 않는 해석 가능성 기법을 특성 그룹으로 확장하는 군집화된 특성 중요도(GFI)와 병합된 특성 효과도(CFEP)를 제안한다. 안정적이고 높은 성능을 보이는 특성 그룹 조합을 식별하기 위한 순차적 절차를 제안하며, 시뮬레이션과 심리학 데이터셋을 통해 GFI와 CFEP가 상관관계가 있거나 고차원적인 데이터에서 단일 특성 분석이 오해의 소지가 있을 때 더 나은 해석 가능성을 제공함을 보여준다.

ABSTRACT

Interpretable machine learning has become a very active area of research due to the rising popularity of machine learning algorithms and their inherently challenging interpretability. Most work in this area has been focused on the interpretation of single features in a model. However, for researchers and practitioners, it is often equally important to quantify the importance or visualize the effect of feature groups. To address this research gap, we provide a comprehensive overview of how existing model-agnostic techniques can be defined for feature groups to assess the grouped feature importance, focusing on permutation-based, refitting, and Shapley-based methods. We also introduce an importance-based sequential procedure that identifies a stable and well-performing combination of features in the grouped feature space. Furthermore, we introduce the combined features effect plot, which is a technique to visualize the effect of a group of features based on a sparse, interpretable linear combination of features. We used simulation studies and a real data example from computational psychology to analyze, compare, and discuss these methods.

연구 동기 및 목표

• 기계학습 모델에서 특성 그룹을 해석하기 위한 모델에 종속되지 않는 방법의 부족을 해결하기 위해.
• 기존의 단일 특성 해석 기법—예를 들어 순열 중요도와 셰플리 값—을 특성 그룹으로 확장하기 위해.
• 안정적이고 높은 성능을 보이는 특성 그룹 조합을 식별하는 순차적 절차를 개발하기 위해.
• 모델 예측에 대한 특성 그룹의 공동 효과를 시각화하기 위해 병합된 특성 효과도(CFEP)를 제안하기 위해.
• 다양한 상관관계 구조와 데이터 유형에서 군집화된 중요도 방법의 성능과 신뢰성을 평가하기 위해.

제안 방법

• 순열 및 재적합 방법을 모두 적용할 수 있는 두 가지 전략을 제안: 공백 모델에서 시작하거나 전체 모델에서 시작한다.
• 순열 및 재적합 접근 방식을 모두 활용하여 특성 그룹에 대한 셰플리 기반 중요도 점수를 도입한다.
• 안정성과 예측 성능을 기반으로 반복적으로 그룹을 선택하는 순차적 군집화된 특성 중요도 절차를 개발한다.
• 병합된 특성 효과도(CFEP)를 도입하며, 이는 감독형 희소 주성분 분석(SPCA)을 사용하여 해석 가능한 특성의 선형 조합을 생성하여 시각화한다.
• CFEP에서의 해석 가능성과 희소성 확보를 위해 SPCA를 통한 차원 축소를 적용하며, 성능 향상을 위해 비감독형 SPCA보다 감독형 SPCA를 우선시한다.
• 시뮬레이션 연구와 실제 컴퓨팅 심리학 데이터셋을 활용하여 제안된 방법의 비교 및 검증을 수행한다.

Figure 1 : Sequential grouped feature importance for the simulation in Section 3.1 . 100 times repeated subsampling. Improvement threshold $\delta=0.001$ . Vertical bars show one step of the sequential procedure (left to right). Height of the vertical bars represent the number of subsampling iterati

실험 결과

연구 질문

• RQ1 순열 기반 및 재적합 기반 군집화된 특성 중요도는 어떻게 공식적으로 정의되고 구분될 수 있는가?
• RQ2 특성 그룹 간 상관관계가 높을 경우, 순열 방법과 재적합 방법 간 성능 차이는 어떠한가?
• RQ3 고차원 설정에서 안정적이고 높은 성능을 보이는 특성 그룹 조합을 순차적 절차가 신뢰성 있게 식별할 수 있는가?
• RQ4 병합된 특성 효과도(CFEP)는 비감독형 SPCA에 비해 모델 예측에 대한 그룹 효과를 어떻게 더 잘 시각화하는가?
• RQ5 군집화된 중요도 방법이 실패하는 상황는 언제이며, 이러한 한계는 어떻게 완화할 수 있는가?

주요 결과

• 특성 그룹 간 상관관계가 높은 상황에서는 재적합 방법이 순열 방법보다 성능이 뛰어나며, 더 의미 있고 안정적인 중요도 점수를 생성한다.
• 순차적 군집화된 특성 중요도 절차는 안정적이고 높은 성능을 보이는 특성 그룹 조합을 성공적으로 식별한다. 특히 다양한 데이터 소스에서 확보가 어려운 그룹에 유용하다.
• 모든 군집화된 중요도 방법—셰플리 기반 및 순열 기반 모두—특성 그룹 내에서 상관관계가 매우 변동성이 클 경우 잘못된 결과를 도출한다. 특히 랜덤 포레스트 모델에서 그러한 문제가 두드러진다.
• 특성 수가 많은 그룹일수록 더 높은 군집화된 중요도 점수를 받는 경향이 있으나, 기준을 특성당 정규화하면 최적의 그룹 선택이 어려워질 수 있다. 따라서 GSI는 주의 깊게 해석해야 한다.
• 고차원 상호작용이 존재하지 않을 경우, 단일 특성의 셰플리 중요도 점수의 합은 군집화된 셰플리 중요도 점수와 일치한다. 이는 제안된 GSI 방법의 일관성을 검증한다.
• 감독형 SPCA를 사용한 CFEP는 비감독형 대비 더 해석 가능하고 의미 있는 시각화를 제공하며, 특히 특성 그룹의 진짜 예측 효과를 잘 포착한다.

Figure 2 : Grouped relative importance scores in case of equally sized within-group correlations for random forest (left) and SVM (right). Relative importance is calculated by dividing each of the absolute group importance scores by the importance score of $G_{2}$ . Hence, relative importance of $G_