[논문 리뷰] Variable Importance Clouds: A Way to Explore Variable Importance for the Set of Good Models

Jiayun Dong, Cynthia Rudin|arXiv (Cornell University)|2019. 01. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 13인용 수 15

한 줄 요약

이 논문은 변수 중요도가 모든 거의 동일한 정확도를 가진 예측 모델(라슈모프 집합) 간에 어떻게 변화하는지 시각화하고 분석할 수 있는 프레임워크인 변수 중요도 클라우드(VIC)를 소개한다. 이는 변수 중요도가 특정 모델에 국한되지 않고 다양한 모델 간에 어떻게 변화하는지를 드러내며, 특히 특성 간 상관관계나 모델 간 상호 교환 조건에서 중요한 특성의 중요도 변화를 보여준다. 또한 2차원 시각화를 위한 변수 중요도 다이어그램(VID)을 제안하여, 일부 좋은 모델에서는 중요하게 작용할 수 있지만 다른 모델에서는 그렇지 않은 특성들이 존재함을 입증한다.

ABSTRACT

Variable importance is central to scientific studies, including the social sciences and causal inference, healthcare, and other domains. However, current notions of variable importance are often tied to a specific predictive model. This is problematic: what if there were multiple well-performing predictive models, and a specific variable is important to some of them and not to others? In that case, we may not be able to tell from a single well-performing model whether a variable is always important in predicting the outcome. Rather than depending on variable importance for a single predictive model, we would like to explore variable importance for all approximately-equally-accurate predictive models. This work introduces the concept of a variable importance cloud, which maps every variable to its importance for every good predictive model. We show properties of the variable importance cloud and draw connections to other areas of statistics. We introduce variable importance diagrams as a projection of the variable importance cloud into two dimensions for visualization purposes. Experiments with criminal justice, marketing data, and image classification tasks illustrate how variables can change dramatically in importance for approximately-equally-accurate predictive models

연구 동기 및 목표

• 기존의 변수 중요도 방법이 단일 예측 모델에 종속되어 있어, 여러 개의 양호한 모델이 존재할 경우 중요한 통찰을 놓칠 수 있다는 한계를 해결하기 위해.
• 예측 성능이 거의 동일한 모든 모델(라슈모프 집합)을 고려하여 변수 중요도의 통합적 시각화를 제공하기 위해.
• 특성 상관관계나 모델 간 상호 교환 조건에서 변수 중요도가 어떻게 변화하는지 드러내어 모델 선택과 해석을 가능하게 하기 위해.
• 고차원 VIC를 2차원으로 투영하여 변수 중요도 관계를 직관적으로 이해할 수 있도록 하는 시각화 도구(VID)를 제안하기 위해.
• 실제 문제, 예를 들어 범죄 정책, 마케팅, 이미지 분류 분야에서 변수 중요도가 모델에 따라 크게 달라질 수 있음을 입증하고, 이 프레임워크의 실용성을 보여주기 위해.

제안 방법

• 예측 성능이 사전 정의된 임계값 이하인 모든 모델을 포함하는 라슈모프 집합을 정의한다. 이는 거의 동일한 정확도를 가진 모델들을 의미한다.
• 라슈모프 집합 내 각 모델에 대해 중요도 벡터를 포함하는 변수 중요도 클라우드(VIC)를 구성한다. 각 벡터는 해당 모델에서 각 특성의 중요도를 나타낸다.
• 브라이먼의 순열 기반 변수 중요도 측정법(특성의 무작위 섞음 이후 손실 증가량)을 사용하여, 라슈모프 집합 내 각 모델의 중요도를 계산한다.
• 고차원 VIC를 변수 중요도 다이어그램(VID)을 통해 2차원으로 투영한다. 이는 다양한 모델 간 특성 중요도 간의 쌍별 관계를 표현한다.
• 기울기 패턴을 활용해 VID를 시각화한다: 상승 기울기 → 중요도 동시 발생, 하강 기울기 → 상호 교환 조건, 수평/수직 선 → 독립성.
• 로지스틱 회귀, 의사결정트리, 딥러닝(VGG16 등)을 포함한 비선형 모델에 대해서도, 라슈모프 집합 내 각 모델의 중요도를 계산함으로써 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 라슈모프 집합 내 다양한 양호한 모델들 간에 한 특성의 중요도는 어떻게 변화하는가?
• RQ2 특성 간 상관관계가 존재할 경우, 한 특성이 중요하게 작용하는 동안 다른 특성이 중요하지 않은 모델 수준의 상호 교환 조건을 탐지할 수 있는가?
• RQ3 단일 모델에 대해 분석한 변수 중요도가 전체 양호한 모델 집합을 고려하지 않을 경우 얼마나 오해의 소지가 있는가?
• RQ4 모든 양호한 모델의 변수 중요도 연속 분포를 어떻게 표현할 수 있을까? 이는 모델의 해석 및 선택을 지원할 수 있다.
• RQ5 실제 데이터셋(범죄 재범, 쿠폰 추천, 이미지 분류)에서 VIC/VID 프레임워크는 어떤 통찰을 드러내는가?

주요 결과

• 프로파블리카의 범죄 정책 데이터셋에서 '나이'와 '과거 범죄 기록' 등의 변수는 라슈모프 집합 내 모델들 간에 상당한 중요도의 변화를 보였으며, 이는 변수 중요도가 모델에 따라 달라질 수 있음을 시사한다.
• 차량 내 쿠폰 추천 데이터셋에서는 '자동차'와 '목적지' 특성 간에 명확한 상호 교환 조건이 드러났다. 일부 모델은 한 특성에 의존하는 반면 다른 모델은 다른 특성에 의존하여, 이는 특성의 중복성 또는 경쟁 관계를 시사한다.
• VGG16를 사용한 이미지 분류에서 VIC는 중요도 패턴(변수 중요도의 한 형태)이 양호한 모델들 간에 크게 달라짐을 보여주었으며, 다양한 이미지 영역이 모델에 따라 중요하게 평가됨을 확인했다.
• VID는 복잡한 관계를 성공적으로 포착했다: 상승 기울기 투영은 중요도 동시 발생을, 하강 기울기 투영은 상호 교환 조건을 드러내었으며, 특히 상관관계가 있는 특성 설정에서 두드러졌다.
• VIC 프레임워크는 한 양호한 모델에서 중요하게 평가된 특성이 다른 동일한 정확도를 가진 모델에서는 거의 무의미해질 수 있음을 드러내어, 단일 모델 기반 사후 변수 중요도 분석의 신뢰성에 의문을 제기한다.
• 기존의 사후 변수 중요도(예: 계수 또는 어텐션 맵)는 전체 양호한 모델 집합 내에서의 맥락이 부족할 경우 오해의 소지가 있음을 입증했다.