[논문 리뷰] Regression-Enhanced Random Forests

Haozhe Zhang, Dan Nettleton외 1명|arXiv (Cornell University)|2019. 04. 23.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 12

한 줄 요약

이 논문은 예측 성능을 향상시키기 위해 페널라이즈드 비모수적 회귀(라소)를 통합함으로써 랜덤 포레스트를 개선하는 하이브리드 방법인 회귀 강화 랜덤 포레스트(RERFs)를 제안한다. 특히 예측값이 훈련 데이터 범위를 초월할 때나 예측자와 반응 사이의 관계가 알려져 있을 경우에 유용하다. RERFs는 시뮬레이션과 실제 옥수수 수확량 예측에서 표준 랜덤 포레스트를 능가하며, 특히 훈련 데이터 범위 외부에서의 예측 성능에서 뛰어나다.

ABSTRACT

Random forest (RF) methodology is one of the most popular machine learning techniques for prediction problems. In this article, we discuss some cases where random forests may suffer and propose a novel generalized RF method, namely regression-enhanced random forests (RERFs), that can improve on RFs by borrowing the strength of penalized parametric regression. The algorithm for constructing RERFs and selecting its tuning parameters is described. Both simulation study and real data examples show that RERFs have better predictive performance than RFs in important situations often encountered in practice. Moreover, RERFs may incorporate known relationships between the response and the predictors, and may give reliable predictions in extrapolation problems where predictions are required at points out of the domain of the training dataset. Strategies analogous to those described here can be used to improve other machine learning methods via combination with penalized parametric regression techniques.

연구 동기 및 목표

• 랜덤 포레스트의 외삽 능력 부족과 예측자 및 반응 간 알려진 관계를 효율적으로 활용하지 못하는 문제를 해결하기 위해.
• 표준 랜덤 포레스트가 예측값의 범위가 제한되어 실패하는 회귀 문제에서 예측 정확도를 향상시키기 위해.
• 비모수적 및 모수적 강점을 융합한 일반화된 랜덤 포레스트 프레임워크를 개발하기 위해.
• 페널라이즈드 회귀 강화를 통해 훈련 데이터 영역을 초월한 신뢰할 수 있는 예측을 가능하게 하기 위해.
• 교차검증 기반의 조정 가능한 방법을 제공하여 하이브리드 모델의 최적 하이퍼파rameter를 선택하기 위해.

제안 방법

• RERFs는 먼저 훈련 데이터에 대해 라소 회귀를 적용하여 예측자의 주효과를 반응에 대해 모델링한다.
• 라소 회귀의 잔차는 이후 표준 랜덤 포레스트의 반응 변수로 사용된다.
• 최종 예측은 라소 예측과 잔차에 대한 랜덤 포레스트 예측의 합으로 구성된다.
• 이 방법은 세 가지 조정 파rameter를 사용한다: 라소 페널티(λ), 최소 노드 크기, 각 분할에서 고려하는 예측자 수(mtry).
• 조정은 교차검증을 통해 수행되며, 계산 비용을 줄이기 위해 이중 단계 근사법을 사용한다.
• 이 방법은 표준 랜덤 포레스트를 일반화하며, 라소 페널티가 충분히 클 경우 원래의 랜덤 포레스트로 수렴한다.

실험 결과

연구 질문

• RQ1 페널라이즈드 모수적 회귀와 랜덤 포레스트를 조합함으로써 회귀 과제에서 예측 성능을 향상시킬 수 있는가?
• RQ2 표준 랜덤 포레스트가 실패하는 외삽 상황에서 제안된 방법의 성능은 어떠한가?
• RQ3 RERFs는 비선형성 또는 단조성과 같은 알려진 예측자와 반응 간 기능적 관계를 효과적으로 통합할 수 있는가?
• RQ4 RERFs의 세 하이퍼파rameter(λ, nodesize, mtry)에 대한 최적의 조정 전략은 무엇인가?
• RQ5 복잡한 추세가 있는 실제 데이터(예: 장기적인 수확량 증가)에서 하이브리드 접근법은 정확도를 향상시키며 안정성을 유지하는가?

주요 결과

• 시뮬레이션 연구에서 RERFs는 예측값이 훈련 범위를 초월할 경우 표준 랜덤 포레스트보다 유의미하게 뛰어난 성능을 보였다.
• 아이오와 옥수수 수확량 예측에서 RERFs는 라소와 랜덤 포레스트 모두보다 낮은 RMSE를 기록했으며, 2015년 기준으로 표준 랜덤 포레스트 대비 예측 정확도가 10% 향상되었다.
• 이 방법은 장기적인 수확량 추세를 성공적으로 포착했으며, 훈련 데이터에서 관측된 최대 수확량으로 제한되는 표준 랜덤 포레스트의 상한선 문제를 회피했다.
• RERFs는 훈련 도메인을 초월한 신뢰할 수 있는 예측을 제공했으며, 외부 데이터에 대한 외삽 성능에서 뛰어난 성능을 보였다.
• 이중 단계 교차검증 조정 절차는 계산 비용을 줄였고, 완전한 검색에 가까운 예측 성능를 유지했다.
• 모든 평가 시나리오—시뮬레이션, 콘크리트 강도, 옥수수 수확량—에서 RERFs는 내삽 및 외삽 모두에서 표준 랜덤 포레스트를 일관되게 능가했다.