[논문 리뷰] Forest Floor Visualizations of Random Forests

Soeren H. Welling, Hanne H. F. Refsgaard외 2명|arXiv (Cornell University)|2016. 05. 30.

Forest ecology and management참고 문헌 11인용 수 64

한 줄 요약

이 논문은 랜덤 포레스트 모델을 위한 새로운 시각화 방법론인 '포레스트 플로어(forest floor)'를 소개한다. 이 방법은 특성 기여도와 차원 축소를 활용하여 평균화하지 않고도 비선형 관계와 상호작용을 드러내며, 해석 가능한 고차원 시각화를 가능하게 하여 숨겨진 상호작용을 폭 드러내고 기존의 부분적 의존도 플롯을 넘어서 모델의 해석 가능성을 향상시킨다.

ABSTRACT

We propose a novel methodology, forest floor, to visualize and interpret random forest (RF) models. RF is a popular and useful tool for non-linear multi-variate classification and regression, which yields a good trade-off between robustness (low variance) and adaptiveness (low bias). Direct interpretation of a RF model is difficult, as the explicit ensemble model of hundreds of deep trees is complex. Nonetheless, it is possible to visualize a RF model fit by its mapping from feature space to prediction space. Hereby the user is first presented with the overall geometrical shape of the model structure, and when needed one can zoom in on local details. Dimensional reduction by projection is used to visualize high dimensional shapes. The traditional method to visualize RF model structure, partial dependence plots, achieve this by averaging multiple parallel projections. We suggest to first use feature contributions, a method to decompose trees by splitting features, and then subsequently perform projections. The advantages of forest floor over partial dependence plots is that interactions are not masked by averaging. As a consequence, it is possible to locate interactions, which are not visualized in a given projection. Furthermore, we introduce: a goodness-of-visualization measure, use of colour gradients to identify interactions and an out-of-bag cross validated variant of feature contributions.

연구 동기 및 목표

• 복잡하고 고차원적인 랜덤 포레스트 모델을 해석하는 데 도전하는 것. 이는 강력한 예측 성능를 보이지만 일반적으로 블랙박스로 간주되기 때문이다.
• 부분적 의존도 플롯의 한계를 극복하는 것. 이는 투영에 따른 평균화로 인해 상호작용이 가려지기 때문이다.
• 사용자가 랜덤 포레스트 모델 내에서 영향력 있는 상호작용을 식별하고 이해할 수 있도록 도와주는 시각화 프레임워크를 개발하는 것.
• 해시적 시각화의 적합도 측도와 색상 그라디언트 기법을 도입하여 특성 기여도 플롯에서 아직 시각화되지 않은 상호작용을 강조하는 것.
• 오차 밖의 기여도와 교차검증된 특성 기여도를 사용하여 과적합을 줄이고 신뢰성을 향상시켜 해석 가능성을 높이는 것.

제안 방법

• 이 방법은 각 트리의 특성 기여도를 활용하여 랜덤 포레스트 내의 예측을 개별 특성의 기여로 분해함으로써 특정 입력 변수에 대한 예측 기여를 할당한다.
• 투영을 통한 차원 축소를 적용하여 고차원 모델 매핑을 2D 또는 3D로 시각화함으로써 국소적 구조와 상호작용을 유지한다.
• 부분적 의존도에서처럼 평행 투영에 따른 평균화를 대체로 특성 기여도의 대상 시각화를 통해 상호작용 효과의 가림을 줄인다.
• 특성의 기여도가 고립적으로 의미 있게 해석될 수 있는지 여부를 평가하기 위한 새로운 해시적 시각화 적합도 측도를 도입한다.
• 색상 그라디언트를 사용하여 현재 투영에서 아직 반영되지 않은 상호작용이 존재하는 영역을 강조한다.
• 오차 밖 및 n-폴드 교차검증된 특성 기여도 변형을 도입하여 과적합을 줄이고 시각화의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 특성 기여도와 대상 투영을 통해 부분적 의존도 플롯에서 평균화로 가려진 상호작용을 랜덤 포레스트 모델에서 드러낼 수 있는가?
• RQ2 어떻게 시각화 프레임워크가 고차원 랜덤 포레스트 모델 내에서 숨겨진 상호작용을 찾고 영향력을 평가하는 데 사용자에게 안내할 수 있는가?
• RQ3 특성 기여도와 해시적 시각화 적합도 측도는 랜덤 포레스트 모델의 해석 가능성을 어느 정도 향상시킬 수 있는가?
• RQ4 오차 밖 교차검증된 특성 기여도는 해석 가능성 손실 없이 과적합을 줄이는 데 효과적인가?
• RQ5 랜덤 포레스트는 고차 상호작용을 얼마나 잘 맞추는가? 이는 모델 구조의 시각화 가능성에 어떤 영향을 미치는가?

주요 결과

• 포레스트 플로어는 평균화된 투영이 아닌 특성 기여도에 초점을 맞추어 복잡하고 비선형적이며 상호작용이 있는 관계를 효과적으로 시각화한다.
• 색상 그라디언트를 통해 부분적 의존도 플롯에서 가려진 상호작용 효과가 드러나 있음을 입증하였다.
• 오차 밖 교차검증된 특성 기여도는 과적합을 줄이고 특히 노이즈가 많거나 고차원 설정에서 시각화의 신뢰성을 향상시킨다.
• 해시적 시각화 적합도 측도는 특성 기여도가 고립적으로 해석될 수 없을 때 효과적으로 식별하여 상호작용의 맥락적 시각화가 필요함을 시사한다.
• 시뮬레이션 결과에 따르면, 랜덤 포레스트는 10,000개의 노이즈 없는 관측치가 있어도 제3차 및 그 이상의 상호작용을 잘 맞추지 못함을 시사하며, 이는 두 가지 또는 세 가지 상호작용 이상의 시각화 필요성을 제한한다.
• 이 프레임워크는 랜덤 포레스트 모델에 대한 해석 가능하고 맥락 인식 시각화를 가능하게 하여, 랜덤 포레스트가 본질적으로 해석 불가능한 블랙박스라는 인식을 도전한다.