[논문 리뷰] Mondrian Forests for Large-Scale Regression when Uncertainty Matters

Balaji Lakshminarayanan, Daniel M. Roy외 1명|arXiv (Cornell University)|2015. 06. 11.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 14

한 줄 요약

이 논문은 계층적 가우시안 사전분포를 사용하여 몽드리안 프로세스 프레임워크를 회귀로 확장함으로써 대규모 회귀에서 원칙적인 불확실성 추정을 제공하는 몽드리안 포레스트를 소개한다. 이 방법은 랜덤 포레스트와 근사 가우시안 프로세스보다 예측 성능이 뛰어나고, 특히 분포 외부 설정에서 보다 보정된 불확실성 추정을 달성한다.

ABSTRACT

Many real-world regression problems demand a measure of the uncertainty associated with each prediction. Standard decision forests deliver efficient state-of-the-art predictive performance, but high-quality uncertainty estimates are lacking. Gaussian processes (GPs) deliver uncertainty estimates, but scaling GPs to large-scale data sets comes at the cost of approximating the uncertainty estimates. We extend Mondrian forests, first proposed by Lakshminarayanan et al. (2014) for classification problems, to the large-scale non-parametric regression setting. Using a novel hierarchical Gaussian prior that dovetails with the Mondrian forest framework, we obtain principled uncertainty estimates, while still retaining the computational advantages of decision forests. Through a combination of illustrative examples, real-world large-scale datasets, and Bayesian optimization benchmarks, we demonstrate that Mondrian forests outperform approximate GPs on large-scale regression tasks and deliver better-calibrated uncertainty assessments than decision-forest-based methods.

연구 동기 및 목표

• 대규모 회귀에서 표준 결정 트리 포레스트의 신뢰할 수 있는 불확실성 추정 부족 문제를 해결하기 위해.
• 결정 트리 포레스트의 계산 효율성과 가우시안 프로세스의 불확실성 정량화 기능을 통합하기 위해.
• 학습 데이터를 초월하여 외삽할 경우에도 불확실성 보정을 유지하는 스케일러블한 비모수적 회귀 방법을 개발하기 위해.
• 불확실성이 중요한 베이지안 최적화 및 대규모 회귀 작업에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 원래 분류를 위한 목적을 가진 몽드리안 포레스트를 계층적 가우시안 사전분포를 사용해 회귀로 확장한다.
• 가우시안 믿음 전파를 사용해 리프 노드 파라미터에 대한 사후분포를 효율적으로 계산함으로써 계층적 사전분포 하에서 정확한 추론을 가능하게 한다.
• 몽드리안 프로세스를 무작위화 메커니즘으로 사용하여, 테스트 포인트가 학습 데이터에서 멀어질수록 예측값이 사전분포로 수렴하도록 하여 자연스러운 불확실성 보정을 가능하게 한다.
• 대규모 데이터셋과 베이지안 최적화 벤치마크에 이 방법을 적용하며, 10개의 트리와 min_samples_split = 2를 사용한 UCB 획득 함수를 적용한다.
• 비선형적으로 스케일링된 특성에 대해 로그 변환과 특성 정규화를 수행하여 일관된 입력 공간 표현을 확보한다.
• 온라인 학습과 병렬 가능 트리 구축을 활용해 대규모 데이터셋에서의 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 몽드리안 포레스트는 분포 외부 예측 시나리오에서 표준 결정 트리 포레스트보다 보다 보정된 불확실성 추정을 제공할 수 있는가?
• RQ2 대규모 회귀 작업에서 몽드리안 포레스트의 예측 정확도와 불확실성 보정 능력은 근사 가우시안 프로세스와 비교해 어떻게 되는가?
• RQ3 베이지안 최적화에서 불확실성이 탐색-이용를 이끄는 상황에서 몽드리안 포레스트는 결정 트리 포레스트를 능가하거나 동등하게 성능을 내는가?
• RQ4 몽드리안 트리 내 계층적 가우시안 사전분포는 계산 스케일러비리티를 유지하면서도 불확실성 추정을 향상시키는가?

주요 결과

• 비행기 지연 데이터셋에서 몽드리안 포레스트는 최신 스케일러블 GP 근사 방법보다 우수한 RMSE 성능을 달성하면서도 더 나은 불확실성 추정을 제공했다.
• 베이지안 최적화 벤치마크에서 몽드리안 포레스트는 브라인 함수에서 오라클에 비해 0.005 이내의 진짜 최대값을 식별했고, 하르트만 함수에서는 0.109 이내로 성능을 냈으며, SMAC(랜덤 포레스트를 사용)를 능가했다.
• LDA 및 SVM 하이퍼파rameter 튜닝 작업에서 몽드리안 포레스트는 LDA-grid에서 오라클 성능을 정확히 재현했고, SVM-grid에서는 거의 최적의 결과를 달성했으며, SMAC는 브라인과 하르트만에서 최적값에 도달하지 못했다.
• 몽드리안 포레스트의 불확실성 추정은 브라인-RF와 ERT보다 더 보정된 편이었으며, 특히 학습 데이터에서 멀리 떨어진 영역에서 몽드리안 프로세스의 특성인 사전분포로의 예측 수렴 덕분이었다.
• 이 방법은 대규모 설정에서 계산적 우수성을 보였으며, 수천 개의 관측치를 포함하는 베이지안 최적화 및 강화 학습 응용 분야에 특히 적합했다.