[논문 리뷰] bartMachine: Machine Learning with Bayesian Additive Regression Trees

Adam Kapelner, Justin Bleich|arXiv (Cornell University)|2013. 12. 08.

Data Analysis with R참고 문헌 14인용 수 50

한 줄 요약

이 논문은 기존 R 구현체보다 성능과 기능 면에서 향상된 Bayesian Additive Regression Trees(BART)를 구현하는 R 패키지인 bartMachine을 소개한다. 이 패키지는 병렬 처리된 자바 통합을 통해 BART의 속도를 향상시키며, 외부 데이터에 대한 예측, 결측치 처리, 순열 검증을 통한 변수 선택, 진단 도구 제공 기능을 통해 회귀 및 분류 분야의 머신러닝 응용에 BART를 더 쉽게, 더 효율적으로 사용할 수 있도록 한다.

ABSTRACT

We present a new package in R implementing Bayesian additive regression trees (BART). The package introduces many new features for data analysis using BART such as variable selection, interaction detection, model diagnostic plots, incorporation of missing data and the ability to save trees for future prediction. It is significantly faster than the current R implementation, parallelized, and capable of handling both large sample sizes and high-dimensional data.

연구 동기 및 목표

• 기존 BayesTree R 패키지에 예측 기능이 없어 새로운 데이터에 대해 다시 학습해야 하는 문제를 해결하기 위해
• R에서의 BART 계산 효율성을 향상시키기 위해 자바로 구현하고 다중 코어 병렬 처리를 가능하게 하기 위해
• 모델 지속성, 결측치 보간, 내장된 교차 검증 등의 기능을 추가하여 BART의 기능을 확장하기 위해
• 수렴도 그래프, 신뢰구간, 순열 검증을 통한 변수 중요도 등 고급 진단 도구를 제공하기 위해
• 풍부한 시각화 및 모델 해석 도구를 제공하여 회귀 및 분류 작업을 모두 지원하기 위해

제안 방법

• 고성능 계산을 위해 자바를 사용하여 BART를 구현하고, rJava를 통한 R 통합을 통해 R 생태계 내에서 원활한 사용을 가능하게 하기 위해
• 다중 CPU 코어를 활용해 모델 피팅, 예측, 진단 계산을 병렬 처리하여 학습 및 추론 속도를 향상시키기 위해
• 재학습 없이도 향후 예측을 위해 저장된 트리를 사용할 수 있는 지속 가능한 모델 저장 시스템을 도입하기 위해
• 조건부 보간 전략을 사용해 훈련 및 예측 시 결측치를 포함하는 결측치 처리 메커니즘을 구현하기 위해
• 순열 기반 가설 검정을 사용해 변수 중요도를 평가하고 상호작용를 탐지하며, 공변수 효과에 대한 p-값을 제공하기 위해
• 부분 의존도 플롯, 기니 샘플러의 수렴 진단, 예측 구간 시각화 등을 통해 모델 평가를 위한 도구를 제공하기 위해

실험 결과

연구 질문

• RQ1 R 환경에서 대규모 데이터셋과 고차원 문제에 대해 BART를 더 스케일러블하고 효율적으로 만들 수 있는가?
• RQ2 예측 기능이 완전히 구현된, 완전히 병렬 처리 가능한, 생산 수준의 BART 구현체를 R 생태계에 통합할 수 있는가?
• RQ3 비모수 베이지안 프레임워크 내에서 순열 기반 추론을 사용해 변수 중요도 및 상호작용 탐지 기능을 어떻게 향상시킬 수 있는가?
• RQ4 목록 삭제 없이 BART 프레임워크 내에서 결측치를 효과적으로 처리할 수 있는 정도는 어느 정도인가?
• RQ5 수렴도 그래프, 신뢰구간 등의 진단 도구가 모델 신뢰성과 해석 가능성에 어떻게 기여하는가?

주요 결과

• bartMachine은 자바 기반 병렬 처리와 최적화된 C++ 수준의 성능 덕분에 원래의 BayesTree R 구현체보다 훨씬 빠르다.
• 재학습 없이도 전용 predict 함수를 통해 외부 데이터에 대한 예측을 지원하여 새로운 데이터에 대해 모델을 다시 학습시킬 필요가 없어졌다.
• 변수 중요도는 포함 비율과 순열 기반 p-값을 통해 평가되었으며, 상위 10개 예측 변수 중 일부는 자동차 가격에 매우 유의미한 영향을 미쳤다(p < 0.001).
• 차량의 차체 유형 변수는 간접적으로 유의미한 영향을 미쳤다(p = 0.0495), 반면 너비 변수는 유의미한 영향이 없었다(p > 0.05), 비록 포함 비율은 높았음에도 불구하고.
• 종합 검정 결과 최소한 하나의 예측 변수가 반응 변수에 유의미한 영향을 미친다는 것이 확인되었으며(p < 0.001), 이는 모델의 전체 예측 능력을 검증하는 데 기여했다.
• 수렴도 그래프(σ² 및 트리 수준의 매개변수에 대한)와 같은 모델 진단 도구를 통해 사용자는 MCMC 혼합 상태와 모델 안정성을 평가할 수 있었다.