[논문 리뷰] Interaction Detection with Bayesian Decision Tree Ensembles

Junliang Du, Antonio R. Linero|arXiv (Cornell University)|2018. 09. 23.

Data Stream Mining Techniques인용 수 9

한 줄 요약

이 논문은 상호작용 탐지 능력을 향상시키기 위해 나무들을 군집화하여 특정 저항성 상호작용에 집중하는 베이지안 결정트리 앙상블인 Dirichlet Process Forests (DP-Forests)를 제안한다. Dirichlet process 사전분포를 사용해 군집 수를 적응적으로 결정함으로써, BART 및 기타 방법과 비교해 거짓 양성과 거짓 음성의 수를 크게 줄이며 높은 정확도를 달성하면서도 예측 성능을 유지한다.

ABSTRACT

Methods based on Bayesian decision tree ensembles have proven valuable in constructing high-quality predictions, and are particularly attractive in certain settings because they encourage low-order interaction effects. Despite adapting to the presence of low-order interactions for prediction purpose, we show that Bayesian decision tree ensembles are generally anti-conservative for the purpose of conducting interaction detection. We address this problem by introducing Dirichlet process forests (DP-Forests), which leverage the presence of low-order interactions by clustering the trees so that trees within the same cluster focus on detecting a specific interaction. We show on both simulated and benchmark data that DP-Forests perform well relative to existing interaction detection techniques for detecting low-order interactions, attaining very low false-positive and false-negative rates while maintaining the same performance for prediction using a comparable computational budget.

연구 동기 및 목표

• 강력한 예측 성능를 보이는 BART와 같은 베이지안 결정트리 앙상블이 상호작용 탐지 시 과도하게 보수적이지 않은 행동을 보이며, 허위 상호작용 효과를 자주 생성하는 문제를 해결하기 위해.
• 나무들을 구조적으로 군집화함으로써 저항성 상호작용을 명시적으로 탐지하도록 장려하고, 허위 상호작용는 이를 억제하는 완전한 베이지안 프레임워크를 개발하기 위해.
• 특히 약하거나 희박한 상호작용이 존재하는 환경에서, 변수 선택 일致성 향상과 함께 높은 예측 정확도를 유지하기 위해.
• 특히 고차원 또는 복잡한 상호작용 구조를 가진 환경에서 기존 상호작용 탐지 방법에 비해 계산적으로 효율적인 대안을 제공하기 위해.

제안 방법

• 나무들이 Dirichlet process 사전분포를 사용해 상호배타적인 군집으로 묶이는 Dirichlet Process Forests (DP-Forests)를 도입하여 군집 수를 적응적으로 결정할 수 있도록 한다.
• 각 군집 내 나무들은 하나의 특정 저항성 상호작용을 탐지하도록 설계되며, 동일 군집 내 나무들 간의 공통된 구조를 통해 탐지 능력을 향상시킨다.
• Dirichlet process의 사전 농도 파ameter를 활용해 군집의 세분성(granularity)을 제어함으로써, 상호작용 구성 요소의 수를 자동으로 선택할 수 있도록 한다.
• 각 군집이 고유한 평균 함수와 분산을 가지는 계층적 사전분포 구조를 사용하여, 서로 다른 강도를 가진 상호작용 신호를 영리하게 모델링할 수 있도록 한다.
• MCMC를 사용해 나무 구조, 군집 할당, 모델 파am터의 결합 사후분포에서 샘플링하는 사후분포 계산 전략을 적용한다.
• 복잡한 효과(예: 보스턴 주택 데이터의 DIS-LSTAT 상호작용)에 대해 시각화 및 해석을 위해 일반화된 가산 모델(GAMs)을 활용한 '피팅-더-피팅(fit-the-fit)' 접근법을 적용한다.

실험 결과

연구 질문

• RQ1 BART와 같은 베이지안 결정트리 앙상블은 상호작용 탐지에 신뢰성 있게 사용될 수 있는가, 아니면 허위 상호작용에 대한 보정이 부족해 과도한 거짓 양성률을 보이는가?
• RQ2 베이지안 트리 앙상블의 구조를 어떻게 수정하면 저항성 상호작용을 명시적으로 탐지하도록 장려하고 불필요한 상호작용는 억제할 수 있는가?
• RQ3 비모수적 사전분포(Dirichlet process)를 사용해 나무들을 상호작용 전용 군집으로 군집화하면, 기존 BART와 비교해 상호작용 탐지의 일관성과 정확도가 향상되는가?
• RQ4 DP-Forests의 성능는 iRF, SBART, 그리고 가산 그로브(additive groves)와 같은 기존 방법들과 비교해 상호작용 탐지 정확도와 예측 성능 측면에서 어떻게 다른가?

주요 결과

• 모의 데이터에서 DP-Forests는 SBART와 iRF보다 유의미하게 낮은 거짓 양성 및 거짓 음성 비율을 기록했으며, SBART는 x₂와 x₄ 사이에 허위 상호작용을 탐지했다.
• 보스턴 주택 데이터셋에서 DP-Forests는 DIS(고용 중심지까지의 거리)와 LSTAT(하위 상태 비율) 사이에 안정적이고 유의미한 상호작용을 탐지했으며, 교차검증 폴드 전반에서 일관되게 선택되었다.
• 보스턴 주택 데이터셋에서 DP-Forests는 가장 낮은 루트 평균 제곱 예측 오차(RMSE = 1.00)를 기록했으며, iRF(1.22), HL(1.18), 그리고 가산 그로브(1.16)를 모두 앞섰다.
• DP-Forests는 오직 하나의 주요 상호작용만 탐지하면서도 뛰어난 예측 성능를 유지했으며, 다양한 상호작용을 선택하는 희박 모델인 VANISH와는 대비되어 일관성 향상이 뚜렷했다.
• 계산 효율성 측면에서 DP-Forests는 40,000개의 사후 샘플을 생성하는 데 241초가 소요되었으며, SBART(118초)보다 略로 느리지만, 가산 그로브(4966초)보다 훨씬 빠르며, 합리적인 계산 예산 내에서 경쟁 가능했다.
• GAMs를 통한 시각화 결과 DIS와 LSTAT 사이에 명확한 비선형 상호작용이 확인되었으며, 하위 상태 비율이 높은 지역에서는 거리가 주택 가격에 미치는 부정적 영향이 반전되는 것으로 나타났다.