[논문 리뷰] (f)RFCDE: Random Forests for Conditional Density Estimation and Functional Data

Taylor Pospisil, Ann B. Lee|arXiv (Cornell University)|2019. 06. 17.

Statistical Methods and Inference참고 문헌 6인용 수 6

한 줄 요약

이 논문은 조건부 밀도 추정(CDE) 및 기능 데이터를 위한 최적화된 무작위임계수(랜덤 포레스트) 방법인 (f)RFCDE를 소개한다. 트리 분할 기준을 CDE 전용 손실 함수를 최소화하도록 수정함으로써, 특히 다중모달성 또는 이방산성 설정 및 고해상도 기능 공변량에서 표준 회귀 임계수보다 더 높은 정확도와 계산 효율성을 달성한다.

ABSTRACT

Random forests is a common non-parametric regression technique which performs well for mixed-type unordered data and irrelevant features, while being robust to monotonic variable transformations. Standard random forests, however, do not efficiently handle functional data and runs into a curse-of dimensionality when presented with high-resolution curves and surfaces. Furthermore, in settings with heteroskedasticity or multimodality, a regression point estimate with standard errors do not fully capture the uncertainty in our predictions. A more informative quantity is the conditional density p(y | x) which describes the full extent of the uncertainty in the response y given covariates x. In this paper we show how random forests can be efficiently leveraged for conditional density estimation, functional covariates, and multiple responses without increasing computational complexity. We provide open-source software for all procedures with R and Python versions that call a common C++ library.

연구 동기 및 목표

• 이방산성 또는 다중모달성 하에서 표준 랜덤 포레스트가 전체 조건부 밀도를 추정하는 데에 한계를 보이는 문제를 해결한다.
• 곡선 또는 표면의 정의역에 따라 분할을 적응시키는 방식으로, 기능 데이터에서 차원의 저주 문제를 해결한다.
• 다중 반응 변수에 대한 동시 조건부 밀도 추정을 가능하게 하여, 랜덤 포레스트의 기능을 점 추정을 넘어서 확장한다.
• 밀도 추정에 특화된 새로운 손실 함수를 통해 정확도를 향상시키면서도 계산 효율성을 유지한다.
• 실세계 응용에 실용적으로 사용할 수 있도록 R 및 파이썬 인터페이스를 제공하는 확장 가능한 오픈소스 구현을 제공한다.

제안 방법

• 표준 랜덤 포레스트 분할 방식을 수정하여 CDE 전용 $L^2$ 손실을 최소화한다: $L(p,\widehat{p}) = \mathbb{E}_X[\int \widehat{p}^2(y|X) dy] - 2\mathbb{E}_{X,Y}[\widehat{p}(Y|X)] + C_p$, 이는 반응 변수의 전체 분포를 고려한다.
• 트리 기반 가중치를 사용한다: $w_i(x^*, \theta_t) = \mathbbm{1}[X_i \in R(x^*, \theta_t)] / \sum_i \mathbbm{1}[X_i \in R(x^*, \theta_t)]$, 그리고 $T$개의 트리에 대해 평균하여 최종 가중치 $w_i(x^*)$를 구성한다.
• 가중치 기반 커널 밀도 추정을 통해 조건부 밀도를 추정한다: $\widehat{p}(y|x^*) = \frac{1}{\sum_i w_i(x^*)} \sum_i w_i(x^*) K_h(Y_i - y)$, 대역폭은 플러그인 또는 검증 방법으로 선택한다.
• 기능 데이터의 경우, 파oisson 과정을 사용하여 기능 정의역을 분할하고, 각 구간의 평균을 트리의 입력으로 사용한다.
• 각 격자 점을 개별 특징으로 간주하는 대신, 함수 값의 평균을 취하여 차원을 감소시키고 계산 효율성을 향상시킨다.
• 고성능과 광범위한 접근성을 확보하기 위해 R 및 파이썬 래퍼를 제공하는 공통 C++ 라이브러리를 활용한다.

실험 결과

연구 질문

• RQ1 분할 기준을 밀도 손실 최적화를 위해 직접 수정함으로써, 랜덤 포레스트가 조건부 밀도 추정에 효과적으로 적용될 수 있는가?
• RQ2 제안된 CDE 최적화 손실 함수는 표준 회귀 손실과 비교해 다중모달성 또는 이방산성 반응 분포를 얼마나 잘 포착하는가?
• RQ3 기능 공변량을 고차원 벡터로 취급하는 것과 비교해, 정의역 분할을 통한 모델링 방식이 성능 향상과 계산 비용 절감에 얼마나 기여하는가?
• RQ4 다중 반응 변수에 대한 동시 조건부 밀도 추정이 해석 가능성과 확장성 유지 조건에서 가능할 수 있는가?
• RQ5 CDE 손실과 계산 시간 측면에서 (f)RFCDE의 성능은 quantileRegressionForests 및 trtf와 비교해 어떻게 되는가?

주요 결과

• (f)RFCDE 방법은 다중모달성 또는 이방산성 반응이 있는 설정에서 표준 회귀 임계수보다 유의미하게 낮은 CDE 손실을 기록한다.
• SDSS의 기능 스펙트로스코픽 데이터에서 기능 RFCDE 접근 방식은 CDE 손실을 -29.623 (SE: 0.844)로 줄였고, 벡터 기반 기준선은 -12.578 (SE: 0.418)이었다.
• 기능 RFCDE 모델은 훈련 시간을 12.62초로 단축시켰고, 벡터 기반 모델의 21.31초보다 빠르며, 이는 감소된 효과적 차원과 더 적은 분할 탐색으로 인한 것이다.
• 이 방법은 약한 렌즈링 파rameter 추론에서 후행 분포의 복잡한 리지 패턴을 성공적으로 포착하여, 불확실성 정량화에서 점 추정 방법보다 뛰어난 성능을 보였다.
• R 및 파이썬 인터페이스를 제공하는 오픈소스 RFCDE 패키지는 전체 불확실성 정량화를 포함한 복잡한 데이터 유형에 대한 확장 가능한 해석 가능한 모델링을 가능하게 한다.
• CDE 최적화 손실 함수는 표준 회귀 손실이 간과할 수 있는 분포 이동 및 비선형적 의존성의 탐지 능력을 향상시킨다.