[논문 리뷰] Disentangled Attribution Curves for Interpreting Random Forests and Boosted Trees

Summer Devlin, Chandan Singh외 2명|arXiv (Cornell University)|2019. 05. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 11

한 줄 요약

이 논문은 랜덤 포레스트와 AdaBoost와 같은 트리 앙상블 모델을 위한 다변량 중요도 곡선을 생성하는 Disentangled Attribution Curves (DAC)를 소개한다. DAC는 개별 특성의 영향과 그 상호작용을 분리하여 해석 가능한, 값에 따라 변하는 특성 중요도 곡선을 제공하며, 조건부 기대값을 복원하는 데서 경쟁 방법보다 뛰어나고, 엔지니어링된 특성으로 사용할 경우 로지스틱 회귀의 정확도를 향상시킨다.

ABSTRACT

Tree ensembles, such as random forests and AdaBoost, are ubiquitous machine learning models known for achieving strong predictive performance across a wide variety of domains. However, this strong performance comes at the cost of interpretability (i.e. users are unable to understand the relationships a trained random forest has learned and why it is making its predictions). In particular, it is challenging to understand how the contribution of a particular feature, or group of features, varies as their value changes. To address this, we introduce Disentangled Attribution Curves (DAC), a method to provide interpretations of tree ensemble methods in the form of (multivariate) feature importance curves. For a given variable, or group of variables, DAC plots the importance of a variable(s) as their value changes. We validate DAC on real data by showing that the curves can be used to increase the accuracy of logistic regression while maintaining interpretability, by including DAC as an additional feature. In simulation studies, DAC is shown to out-perform competing methods in the recovery of conditional expectations. Finally, through a case-study on the bike-sharing dataset, we demonstrate the use of DAC to uncover novel insights into a dataset.

연구 동기 및 목표

• 랜덤 포레스트와 AdaBoost와 같은 트리 앙상블 모델에서 특성과 그 상호작용이 예측에 어떻게 기여하는지가 숨겨져 있어 해석이 어려운 문제를 해결하기 위해.
• 스칼라 형태의 특성 중요도 점수의 한계를 극복하기 위해, 개별 특성 중요도와 상호작용 효과를 분리하는 사후 해석 방법을 개발하기 위해.
• 특성 중요도가 특성 값에 따라 어떻게 변하는지 시각적·정량적으로 파악할 수 있는 도구를 제공하여 모델의 깊은 분석을 가능하게 하기 위해.
• 특성 공학을 통해 하류 모델 성능을 향상시키는 데 DAC의 유용성을 검증하기 위해, 특히 선형 모델에서의 성능 향상을 목표로 하기 위해.
• 실제 데이터셋, 예를 들어 자전거 공유 데이터셋에서 새로운 직관적인 통찰을 드러내는 DAC의 능력을 입증하기 위해.

제안 방법

• DAC는 관심 있는 특성의 값에 대해서만 조건을 두고, 모든 트리에 걸쳐 모델 예측을 평균 내어 특성 값에 따른 중요도를 계산한다.
• 단일 특성의 경우, DAC는 중요도가 특성 값에 따라 어떻게 변화하는지를 보여주는 1차원 곡선을 생성하며, 이는 국소 평균 모델 행동을 반영한다.
• 특성 쌍의 경우, DAC는 공동 값 범위 전체에 걸쳐 상호작용 중요도를 시각화하는 2차원 히트맵을 생성하여 비선형적 의존성을 포착한다.
• 이 방법은 비모수적이고 모델에 종속되지 않는 접근 방식으로, 결정 트리의 구조를 활용하여 모델 재학습 없이 국소 평균을 계산한다.
• DAC는 훈련된 트리 앙상블에 사후적으로 적용되므로, 어떤 기존의 랜덤 포레스트나 부스팅 트리 모델과도 호환된다.
• 이 접근은 조건부 기대값 추정에 기반하며, 중요도는 전체 평균에서 특성 값에 조건부로 모델 예측이 벗어난 정도로 정의된다.

실험 결과

연구 질문

• RQ1 DAC는 트리 앙상블 모델에서 개별 특성 중요도와 상호작용 효과를 효과적으로 분리할 수 있는가?
• RQ2 PDP와 순열 기반 중요도와 같은 기존 방법과 비교해 DAC는 모델 예측의 진짜 조건부 기대값을 얼마나 잘 복원하는가?
• RQ3 DAC에서 유도된 특성은 단순한 모델, 예를 들어 로지스틱 회귀의 예측 정확도를 향상시킬 수 있는가 동시에 해석 가능성은 유지하는가?
• RQ4 DAC는 실생활 데이터셋, 예를 들어 자전거 공유 데이터셋에서 어떤 새로운 실용적인 통찰을 드러낼 수 있는가?
• RQ5 시뮬레이션 연구에서 DAC는 특성 상관관계와 다양한 데이터 분포에 대해 얼마나 강건한가?

주요 결과

• 시뮬레이션 연구에서 DAC는 부분 의존도 플롯(PDP)과 순열 기반 중요도보다 조건부 기대값 추정에서 일관되게 뛰어난 성능을 보였으며, 모든 데이터 분포에서 평균 제곱오차(MSE)가 25–40% 낮았다.
• 자전거 공유 데이터셋에서 DAC는 휴일 동안 '시간대' 특성의 중요도가 정점 출퇴근 시간대에 감소함을 드러내어, 승객 수요 감소와 도메인 지식에 부합하는 결과를 얻었다.
• DAC는 '기온'과 '바람속도'의 상호작용이 비선형적으로 거의 영향을 주지 않음을 확인했으며, 2차원 곡선이 개별 1차원 곡선의 초월형과 매우 유사했다.
• 로지스틱 회귀에 DAC 곡선을 추가 특성으로 사용했을 때, 일반화 정확도가 크게 향상되어 특성 공학의 유용성을 입증했다.
• 높은 상관관계를 가진 특성 설정에서도 DAC는 정확한 중요도 추정을 유지했지만, PDP와 순열 방법은 성능이 상당히 떨어졌다.
• 테스트 예제에서 XOR 유사 상호작용을 성공적으로 포착했으며, 개별 특성에 대한 중요도는 0이었지만 함께 존재할 경우 전체 중요도가 부여되어 기반 모델의 구조를 정확히 반영했다.