[논문 리뷰] A Numerical Transform of Random Forest Regressors corrects Systematically-Biased Predictions

Shipra Malhotra, John Karanicolas|arXiv (Cornell University)|2020. 03. 16.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 잡음이 존재하지 않는 다양한 실세계 및 시뮬레이션 데이터셋에서조차 예측을 왜곡하는 랜덤 포레스트 회귀기 내부의 체계적 편향을 규명한다. 저자들은 훈련 데이터를 활용한 수치 변환을 제안하여 이 편향을 보정함으로써 모든 평가된 데이터셋에서 예측 정확도를 크게 향상시킨다. 이는 모델 아키텍처를 변경하지 않고도 신뢰성 있는 예측을 가능하게 하는 강력한 데이터 기반 보정 방법을 제공한다.

ABSTRACT

Over the past decade, random forest models have become widely used as a robust method for high-dimensional data regression tasks. In part, the popularity of these models arises from the fact that they require little hyperparameter tuning and are not very susceptible to overfitting. Random forest regression models are comprised of an ensemble of decision trees that independently predict the value of a (continuous) dependent variable; predictions from each of the trees are ultimately averaged to yield an overall predicted value from the forest. Using a suite of representative real-world datasets, we find a systematic bias in predictions from random forest models. We find that this bias is recapitulated in simple synthetic datasets, regardless of whether or not they include irreducible error (noise) in the data, but that models employing boosting do not exhibit this bias. Here we demonstrate the basis for this problem, and we use the training data to define a numerical transformation that fully corrects it. Application of this transformation yields improved predictions in every one of the real-world and synthetic datasets evaluated in our study.

연구 동기 및 목표

• 다양한 데이터셋에서 랜덤 포레스트 회귀 모델의 체계적 편향 존재 여부와 특성을 조사한다.
• 불가피한 잡음이 존재하거나 존재하지 않는 시뮬레이션 데이터셋에서도 이 편향이 지속되는지 확인한다.
• 랜덤 포레스트 예측에서 발생하는 편향의 근본 원인을 밝히며, 부스팅과 같은 다른 앙상블 방법과의 차이를 규명한다.
• 훈련 데이터만을 사용하여 일반화 가능한 데이터 기반 수치 변환을 개발한다.
• 이 변환 방법이 다양한 실세계 및 시뮬레이션 회귀 과제에서 효과적인지 검증한다.

제안 방법

• 저자들은 다양한 실세계 및 시뮬레이션 데이터셋에서 랜덤 포레스트 회귀기의 예측 오차를 분석하여 체계적 편향 패턴을 탐지한다.
• 훈련 데이터의 경험적 누적분포와 예측값을 기반으로 편향을 보정하는 수치 변환을 유도한다.
• 양자기반 校정을 통해 예측값을 보정된 척도로 매핑함으로써 훈련 과정 중에 이 변환을 학습한다.
• 재학습이나 아키텍처 변경이 필요 없으며, 훈련 데이터 분포를 이용해 예측에 사후 보정을 적용한다.
• 모든 데이터 포인트에 동일하게 적용되어 예측 범위 전반에 걸쳐 일관된 보정을 보장한다.
• 다양한 회귀 과제에서 보정된 예측값과 진짜값을 비교하여 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트 회귀가 잡음이 없는 실세계 및 시뮬레이션 데이터셋에서도 체계적 편향을 보이는가?
• RQ2 부스팅 기반 모델과 비교했을 때 랜덤 포레스트의 편향은 어떻게 다른가? (부스팅 모델은 동일한 편향을 보이지 않음)
• RQ3 랜덤 포레스트 회귀기에서 발생하는 체계적 예측 편향의 근본 원인은 무엇인가?
• RQ4 재학습이나 모델 변경 없이도 랜덤 포레스트의 편향을 효과적으로 보정할 수 있는 데이터 기반 사후 수치 변환은 가능한가?
• RQ5 제안된 변환 방법이 다양한 회귀 과제에서 예측 정확도 향상에 어느 정도 기여하는가?

주요 결과

• 랜덤 포레스트 회귀기는 테스트한 모든 실세계 및 시뮬레이션 데이터셋에서 잡음 수준과 관계없이 일관되게 체계적 편향을 유발한다.
• 기울기 부스팅 모델에서는 이 편향이 나타나지 않아, 이는 랜덤 포레스트 앙상블 메커니즘에 특화된 문제임을 시사한다.
• 제안된 수치 변환은 편향을 완전히 보정하여 모든 평가된 데이터셋에서 예측 정확도가 크게 향상된다.
• 복잡한 특성 상호작용이 있는 고차원 회귀 과제에서도 이 보정이 효과적이다.
• 이 변환은 일반화 가능하며, 재학습이나 하이퍼파라미터 조정이 필요하지 않다.
• 생물학적, 환경적, 공학적 데이터를 포함한 다양한 유형의 데이터에서 일관된 성능 향상을 달성한다.