[논문 리뷰] Random Forests for dependent data

Arkajyoti Saha, Sumanta Basu외 1명|arXiv (Cornell University)|2020. 07. 30.

Advanced Statistical Methods and Models참고 문헌 71인용 수 6

한 줄 요약

이 논문은 지오스페이셜 데이터의 공간적 의존성을 고려하기 위해 일반화된 최소제곱법(GSL)을 통합한 랜덤 포레스트의 새로운 확장인 RF-GLS를 제안한다. 이는 표준 랜덤 포레스트보다 추정 및 예측 성능을 크게 향상시킨다. 공간 상관 구조는 가우시안 프로세스를 통해 모델링되고, RF 손실 함수는 GLS로 조정되어 β-혼합 의존성 하에서 일致성을 확보하며, 시뮬레이션에서 기존 방법보다 뛰어난 성능을 보이며, 의존 데이터 하에서 랜덤 포레스트에 대한 이론적 일치성 결과를 처음으로 확립한다.

ABSTRACT

Random forest (RF) is one of the most popular methods for estimating regression functions. The local nature of the RF algorithm, based on intra-node means and variances, is ideal when errors are i.i.d. For dependent error processes like time series and spatial settings where data in all the nodes will be correlated, operating locally ignores this dependence. Also, RF will involve resampling of correlated data, violating the principles of bootstrap. Theoretically, consistency of RF has been established for i.i.d. errors, but little is known about the case of dependent errors. We propose RF-GLS, a novel extension of RF for dependent error processes in the same way Generalized Least Squares (GLS) fundamentally extends Ordinary Least Squares (OLS) for linear models under dependence. The key to this extension is the equivalent representation of the local decision-making in a regression tree as a global OLS optimization which is then replaced with a GLS loss to create a GLS-style regression tree. This also synergistically addresses the resampling issue, as the use of GLS loss amounts to resampling uncorrelated contrasts (pre-whitened data) instead of the correlated data. For spatial settings, RF-GLS can be used in conjunction with Gaussian Process correlated errors to generate kriging predictions at new locations. RF becomes a special case of RF-GLS with an identity working covariance matrix. We establish consistency of RF-GLS under beta- (absolutely regular) mixing error processes and show that this general result subsumes important cases like autoregressive time series and spatial Matern Gaussian Processes. As a byproduct, we also establish consistency of RF for beta-mixing processes, which to our knowledge, is the first such result for RF under dependence. We empirically demonstrate the improvement achieved by RF-GLS over RF for both estimation and prediction under dependence.

연구 동기 및 목표

• 공간적으로 의존적인 데이터에서 표준 랜덤 포레스트의 성능 저하 원인인 무시된 공간 상관관계를 해결하기 위해.
• 가우시안 프로세스와 GLS를 사용하여 공간 의존성을 명시적으로 모델링하는 원칙적인 랜덤 포레스트 확장 방법을 개발하기 위해.
• β-혼합 의존성 하에서 제안된 방법의 이론적 일치성을 확립하고, 의존 데이터 하에서 랜덤 포레스트에 대한 첫 번째 일치성 결과를 도출하기 위해.
• 공변수 효과와 공간 랜덤 효과를 분리하는 프레임워크를 제공하여, 비선형 공변수 함수에 대한 타당한 추론을 가능하게 하기 위해.
• 공간 데이터를 넘어 시계열과 같은 다른 종류의 의존 데이터 유형으로도 이 방법을 일반화하기 위해.

제안 방법

• 노드 분할 기준이 일반 최소제곱법(OLS)이 아닌 일반화된 최소제곱법(GLS)에 기반하는 RF-GLS를 랜덤 포레스트의 일반화로 제안하여 공간 상관관계를 고려한다.
• 공간 의존성을 매테르니 코푈션 함수를 가진 가우시안 프로세스(GP)로 모델링하고, 이 공간 구조를 손실 함수에 통합한다.
• 데이터 기반의 비모수적 함수 클래스를 사용하며, 데이터에 적응하는 트리 기반의 기저 함수를 활용한다.
• 오차의 공분산 구조를 반영하여 앙상블 트리에 GLS 스타일 최적화를 적용함으로써 최종 추정치가 오차의 공분산을 고려하도록 보장한다.
• β-혼합 의존성 하에서 균일 대수법칙을 적용하여 이론적 일치성을 확립한다.
• 데이터 기반의 함수 클래스에 대해 GLS 최적화기의 일반 일치 결과를 도출하여, RF-GLS를 초월한 적용에 유용하다.

실험 결과

연구 질문

• RQ1 공간 상관관계를 무시할 경우 표준 랜덤 포레스트의 지오스페이셜 데이터에서의 성능에 어떤 영향을 미치는가?
• RQ2 랜덤 포레스트를 체계적으로 확장하여 공간적으로 의존적인 데이터를 다룰 수 있으며, 이론적 일치성을 유지할 수 있는가?
• RQ3 제안된 RF-GLS 방법은 RF-RK와 RFsp와 같은 기존 방법보다 추정 및 예측 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ4 특히 β-혼합 과정에 대해 의존 데이터 하에서 랜덤 포레스트에 대한 이론적 기반은 존재하는가?
• RQ5 GLS 프레임워크는 공간 프로세스를 넘어 다른 종류의 의존 데이터 유형으로 일반화될 수 있는가?

주요 결과

• RF-GLS는 공간 상관성이 있는 데이터에서 다양한 시뮬레이션 시나리오에서 표준 랜덤 포레스트보다 추정 및 예측 성능이 뛰어나게 향상된다.
• β-혼합 의존 오차 프로세스 하에서 일치성을 확보하며, 특히 인기 있는 매테르니 가우시안 프로세스에 대해서도 첫 번째 랜덤 포레스트의 의존 데이터 하에서의 이론적 일치성 결과를 확립한다.
• 실증 결과는 RF-GLS가 강한 공간 상관관계 조건에서도 우수한 성능을 유지하는 반면, 표준 RF는 이러한 조건에서 성능이 떨어지는 것을 보여준다.
• β-혼합 의존성 하에서 균일 대수법칙을 도출하여, 의존 데이터 하에서 비모수적 회귀의 GLS 스타일 추정기 분석에 새로운 이론적 도구를 제공한다.
• RF-GLS는 시계열과 같은 다른 의존 데이터 유형으로도 확장 가능하여, 공간 데이터를 넘어선 광범위한 적용 가능성을 보여준다.
• 이 방법은 비선형 공변수 효과 $ m(\mathbf{x}) $ 를 공간 랜덤 효과에서 성공적으로 분리하여, 혼합 모델 프레임워크에서 타당한 추론을 가능하게 한다.