[논문 리뷰] A Unified Framework for Random Forest Prediction Error Estimation

Benjamin Lu, Johanna Hardin|arXiv (Cornell University)|2019. 12. 16.

Probabilistic and Robust Engineering Design참고 문헌 30인용 수 11

한 줄 요약

이 논문은 조건부 예측 오차 분포 함수의 새로운 추정량을 사용하여 랜덤 포레스트에서 예측 오차 분포를 통합적으로 추정하는 프레임워크를 제안한다. 이는 조건부 평균 제곱 오차, 편향, 예측 구간과 같은 핵심 불확실성 지표의 플러그인 추정을 가능하게 하며, 특히 예측 구간 구성에서 뛰어난 경험적 성능을 보이며, 개선된 추정량에 대해 이론적 일致성도 입증한다.

ABSTRACT

We introduce a unified framework for random forest prediction error estimation based on a novel estimator of the conditional prediction error distribution function. Our framework enables simple plug-in estimation of key prediction uncertainty metrics, including conditional mean squared prediction errors, conditional biases, and conditional quantiles, for random forests and many variants. Our approach is especially well-adapted for prediction interval estimation; we show via simulations that our proposed prediction intervals are competitive with, and in some settings outperform, existing methods. To establish theoretical grounding for our framework, we prove pointwise uniform consistency of a more stringent version of our estimator of the conditional prediction error distribution function. The estimators introduced here are implemented in the R package forestError.

연구 동기 및 목표

• 기존 방법들 간의 분산을 해결하면서, 랜덤 포레스트에서 예측 불확실성 추정을 위한 단일이고 통합된 프레임워크를 개발하는 것.
• 공통된 조건부 오차 분포 추정량을 사용하여 조건부 평균 제곱 오차, 편향, 분위수의 정확한 플러그인 추정을 가능하게 하는 것.
• 특히 복잡하거나 이질적인 데이터 설정에서 기존 방법들에 비해 예측 구간의 커버리지와 너비를 향상시키는 것.
• 미세 조정된 오차 분포 추정량에 대해 균일 일치성 증명을 통해 이론적 근거를 제공하는 것.
• 일반화된 포레스트 및 국소 가중치 포레스트를 포함한 다양한 랜덤 포레스트 변형과의 광범위한 호환성을 확보하는 것.

제안 방법

• 예측 오차 분포 함수 $ F_E(e \mid x) $의 새로운 추정량을 제안하며, 이는 조건부 변수에 따라 오차의 누적분포를 모델링한다.
• 배제된 관측치 예측과 균일 순서통계량을 사용하여, 확률적 적분 변환을 활용한 비모수적이고 경험적인 $ F_E(e \mid x) $ 추정을 구성한다.
• 근접도 가중치 $ v_i(x) $를 기반으로 한 가중 평균 방식을 적용하여 새로운 조건부 변수 점 $ x $에서 오차 분포를 추정함으로써 국소 스무딩을 보장한다.
• 추정된 $ F_E(e \mid x) $ 를 통합하여 조건부 MSPE, 편향, 분위수의 플러그인 추정량을 유도함으로써 직접적인 불확실성 정량화를 가능하게 한다.
• 더 높은 안정성을 확보한 더 엄격한 추정량을 도입하고, 미약한 정규성 조건 하에서 그 점별 균일 일치성을 증명한다.
• 두 단계 접근법을 활용: 먼저 오차 분포를 추정하고, 그 다음 표준 기능형으로 불확실성 지표를 계산한다.

실험 결과

연구 질문

• RQ1 조건부 예측 오차 분포의 단일 통합 추정량이 랜덤 포레스트에서 핵심 불확실성 지표 추정을 향상시킬 수 있는가?
• RQ2 제안된 프레임워크는 기존 방법들에 비해 예측 구간의 커버리지와 너비 측면에서 어떻게 비교되는가?
• RQ3 제안된 추정량은 데이터 및 트리 생성 과정에 대한 현실적인 가정 하에서도 이론적 일치성을 유지하는가?
• RQ4 일반화된 포레스트나 국소 가중치 포레스트와 같은 다양한 랜덤 포레스트 변형으로 프레임워크를 얼마나 일반화할 수 있는가?
• RQ5 각 지표에 대해 별도의 알고리즘을 필요로 하지 않고도 조건부 편향과 분위수를 효과적으로 추정할 수 있는가?

주요 결과

• 제안된 예측 구간은 커버리지 확률과 구간 너비 측면에서 기존 방법들과 경쟁 가능하며, 일부 시뮬레이션 설정에서는 그들을 초월한다.
• 조건부 평균 제곱 오차와 편향에 대한 플러그인 추정량은 다양한 시뮬레이션 시나리오에서 높은 경험적 성능를 보이며, 다른 접근법보다 낮은 평균 제곱 오차를 기록한다.
• 이론적 분석을 통해 미약한 정규성 조건 하에서 개선된 오차 분포 추정량의 점별 균일 일치성을 입증한다.
• 다양한 데이터 생성 메커니즘에 대해 강건하며, 기저 회귀 함수가 복잡하거나 이질적인 경우에도 양호한 성능을 유지한다.
• 일반화된 랜덤 포레스트 및 국소 선형 포레스트를 포함한 다양한 랜덤 포레스트 변형과 호환되며, 실용적 유용성을 높인다.
• 경험적 결과는 통합 프레임워크가 각 불확실성 지표에 대해 별도로 고안된 수단에 비해 계산 오버헤드를 줄이고 추정 정확도를 향상시킨다는 것을 확인한다.