[논문 리뷰] Peeking Inside the Black Box: Visualizing Statistical Learning with Plots of Individual Conditional Expectation

Alex Goldstein, Adam Kapelner외 2명|arXiv (Cornell University)|2013. 09. 25.

Mental Health Research TopicsPsychology인용 수 18

한 줄 요약

이 논문은 블랙박스 기계학습 모델 내에서 예측 변수의 변화에 따라 데이터셋 내 개별 관측치가 어떻게 반응하는지 시각화하는 방법으로 개별 조건 기대(ICE) 플롯을 소개한다. 특정 특성의 범위에 걸쳐 각 관측치의 예측 응답을 플로팅함으로써 ICE 플롯은 전통적인 부분 의존도 플롯(PDPs)에서 가림되는 이질적인 관계와 상호작용을 드러내며, 모델 행동에 대한 깊이 있는 통찰을 제공하고 데이터 생성 과정의 가산성에 대한 시각적 검증을 가능하게 한다.

ABSTRACT

This article presents Individual Conditional Expectation (ICE) plots, a tool for visualizing the model estimated by any supervised learning algorithm. Classical partial dependence plots (PDPs) help visualize the average partial relationship between the predicted response and one or more features. In the presence of substantial interaction effects, the partial response relationship can be heterogeneous. Thus, an average curve, such as the PDP, can obfuscate the complexity of the modeled relationship. Accordingly, ICE plots refine the partial dependence plot by graphing the functional relationship between the predicted response and the feature for individual observations. Specifically, ICE plots highlight the variation in the fitted values across the range of a covariate, suggesting where and to what extent heterogeneities might exist. In addition to providing a plotting suite for exploratory analysis, we include a visual test for additive structure in the data generating model. Through simulated examples and real data sets, we demonstrate how ICE plots can shed light on estimated models in ways PDPs cannot. Procedures outlined are available in the R package ICEbox.

연구 동기 및 목표

• 평균 효과를 초월하는 시각적 도구를 제공하여 블랙박스 기계학습 모델의 해석 가능성 격차를 해소하기 위해.
• 관측치 간 평균화로 인해 개별 수준의 관계가 가려지는 부분 의존도 플롯(PDPs)의 한계를 극복하기 위해.
• 시각적 진단을 통해 적합된 모델의 이질적 효과 및 상호작용 구조를 탐지하는 방법을 개발하기 위해.
• 모델의 구조가 가산성인지 또는 상호작용 효과를 포함하고 있는지 평가하기 위한 시각적 가설 검정 프레임워크를 도입하기 위해.

제안 방법

• ICE 플롯은 모든 관측치를 평균화하는 대신, 관심 있는 특성의 주변 분포를 따라 각 개별 관측치의 예측 응답을 시각화한다.
• 각 관측치에 대해, 다른 특성은 관측된 값으로 고정한 채로 목표 특성의 다수의 값에서 모델의 예측을 계산한다.
• 중앙화된 ICE(c-ICE) 및 도함수 기반 ICE(d-ICE) 플롯은 평균에 대해 상대적으로 중심을 맞추거나 변화율 행동을 보여줌으로써 해석 가능성을 향상시킨다.
• 실제 ICE 플롯을 가산 모델의 근본 분포(null distribution)와 비교하여 비가산 효과의 통계적 유의성을 평가하기 위해 라인업 기반 시각적 검정을 제안한다.
• 이 방법은 R 패키지 ICEbox에 구현되어 있어 재현 가능한 분석과 표준 모델링 워크플로우에의 통합을 가능하게 한다.
• 이 접근법은 모델에 종속적이지 않으며, 특성에서 예측으로 매핑하는 함수 $\hat{f}$를 생성하는 모든 지도 학습 알고리즘에 적용 가능하다.

실험 결과

연구 질문

• RQ1 평균 기반 부분 의존도 플롯보다 더 효과적으로 블랙박스 모델 내 예측 변수와 예측 간의 개별 수준의 관계를 어떻게 시각화할 수 있는가?
• RQ2 ICE 플롯은 표준 PDPs에서 가려지는 모델의 상호작용과 이질성을 어떻게 드러내는가?
• RQ3 실제 데이터 생성 과정이 가수성인지 또는 상호작용 효과를 포함하고 있는지 여부를 시각적으로 테스트하는 데 ICE 플롯을 사용할 수 있는가?
• RQ4 ICE 플롯은 샤플리 값이나 변수 중요도 지표와 같은 다른 모델 해석 도구와 비교해 특성 효과를 얼마나 잘 포착하는가?
• RQ5 ICE 플롯은 모델 신뢰도를 해칠 수 있는 예측 변수 공간의 외삽을 어느 정도 탐지하고 시각화할 수 있는가?

주요 결과

• ICE 플롯은 특히 상호작용 효과가 존재할 경우 부분 의존도 플롯에서 가려지는 예측 변수와 예측 간의 이질적 관계를 성공적으로 드러낸다.
• 모델이 관심 있는 특성과 다른 공변량에서 가수성일 경우, ICE 곡선은 평행하게 나타나며 관측치 간 일관된 경계 효과를 나타낸다.
• 상호작용이 존재할 경우, ICE 곡선은 형태가 갈라지며 어떤 특성의 효과가 다른 예측 변수의 값에 따라 달라진다는 것을 명확히 시사한다.
• ICE 플롯을 활용한 라인업 기반 시각적 검정은 비가수성 구조를 노이즈와 구분할 수 있으며, 시뮬레이션 예제에서는 높은 구분 능력(예: 그림 13에서 100% 정확한 식별)을 보였다.
• 실제 데이터, 예를 들어 화이트와인 품질 데이터셋에서는 pH의 영향력이 관측치 간에 상당히 다름을 드러내며 비가수성 상호작용이 존재함을 시사했다.
• ICEbox R 패키지는 연구자들이 ICE, c-ICE, d-ICE 플롯을 생성할 수 있도록 하며, 패턴 탐지용 ICE 곡선 군집화와 같은 고급 분석도 지원한다.