[논문 리뷰] Making Sense of Random Forest Probabilities: a Kernel Perspective

Matthew Olson, Abraham J. Wyner|arXiv (Cornell University)|2018. 12. 14.

Neural Networks and Applications참고 문헌 14인용 수 22

한 줄 요약

이 논문은 랜덤 포레스트 확률 추정을 위한 커널 회귀 프레임워크를 수립하며, 나무 간의 유사도에서 유도된 유사도 커널이 밴드폭 매개변수로 작용함을 보여준다. 이 커널을 모델링함으로써 저자들은 랜덤 포레스트의 확률 추정에 대한 원리적인 통계적 기반을 제공하고, mtry를 조정함으로써 캘리브레이션을 크게 향상시킬 수 있음을 보이며, 합성 데이터에서 표준 랜덤 포레스트보다 유사도 기반 방법이 RMSE를 최대 50%까지 개선함을 실험적으로 입증한다.

ABSTRACT

A random forest is a popular tool for estimating probabilities in machine learning classification tasks. However, the means by which this is accomplished is unprincipled: one simply counts the fraction of trees in a forest that vote for a certain class. In this paper, we forge a connection between random forests and kernel regression. This places random forest probability estimation on more sound statistical footing. As part of our investigation, we develop a model for the proximity kernel and relate it to the geometry and sparsity of the estimation problem. We also provide intuition and recommendations for tuning a random forest to improve its probability estimates.

연구 동기 및 목표

• 투표 수를 통한 랜덤 포레스트 확률 추정의 비원리적 성격을 해결하기 위해, 통계적 기반을 부여하지 못하는 문제를 해결하기 위해.
• 랜덤 포레스트와 커널 회귀 간의 공식적인 연결 고리를 수립하고, 유사도 커널을 기반 커널로 식별하기 위해.
• 커널의 형태와 mtry에 따른 밴드폭 의존성을 모델링하여, 조정에 대한 직관을 제공하기 위해.
• 랜덤 포레스트를 커널 시각에서 재해석하고 유사도 기반 추정을 제안함으로써 확률 추정의 품질을 향상시키기 위해.
• 합성 데이터를 사용하여 유사도 기반 랜덤 포레스트가 표준 분류 또는 회귀 포레스트보다 유의미하게 낮은 RMSE를 달성함을 실험적으로 입증하기 위해.

제안 방법

• 랜덤 포레스트의 구조에서 유사도 커널을 유도하며, 여기서 유사도는 두 훈련 포인트가 트리의 동일한 종단 노드에 함께 포함되는 빈도를 측정한다.
• mtry에 따라 유사도 커널을 함수로 모델링하여, mtry가 커널 추정의 효과적 밴드폭을 제어함을 보여준다.
• 유사도 커널을 사용한 커널 회귀로 랜덤 포레스트의 확률 추정을 재구성하며, 가중치는 훈련 포인트와의 유사도에 의해 결정된다.
• 투표 수를 대체하여 유사도를 유사도 측정으로 사용하는 $RF^{prox}$를 제안하며, 확률 추정에 활용한다.
• mtry를 조정하여 커널의 밴드폭을 제어함으로써, 유사도 커널 추정에서 편향과 분산의 균형을 조절한다.
• 합성 데이터셋에서 RMSE를 기준으로 $RF^{prox}$를 표준 랜덤 포레스트(분류 및 회귀 모드), 백킹 트리, 완전히 무작위 포레스트와 비교한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트의 확률 추정을 커널 회귀 이론에 공식적으로 기반시킬 수 있는 방법은 무엇인가?
• RQ2 mtry는 유사도 커널의 형태와 확률 추정에서 편향-분산 트레이드오프를 제어하는 데 어떤 역할을 하는가?
• RQ3 유사도 커널은 기저 데이터의 기하학적 구조와 희박성과 어떻게 관련이 있는가?
• RQ4 유사도 기반 확률 추정은 랜덤 포레스트의 표준 투표 수 방법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 랜덤 포레스트에서 최적의 확률 캘리브레이션을 달성하기 위한 mtry 조정 전략은 무엇인가?

주요 결과

• 랜덤 포레스트의 유사도 커널은 커널 회귀에서 밴드폭 매개변수로 작용하며, mtry는 커널의 너비를 제어함으로써 확률 추정의 매끄러움을 결정한다.
• mtry = 1일 경우, 분류 오차가 최적임에도 불구하고 확률 추정은 0.5에 크게 편향되며, 이는 약한 트리와 높은 상관관계 때문이므로, 이는 mtry 조정의 중요성을 시사한다.
• mtry = 30일 경우, 확률 추정은 진짜 값(0.3과 0.7) 주변에 잘 중심화되어 있으며, 이는 mtry 조정이 캘리브레이션에 매우 중요함을 보여준다.
• $RF^{prox}$ 방법은 여섯 개의 합성 모델 중 네 개에서 가장 낮은 RMSE를 기록했으며, XOR 및 1d 모델에서는 경쟁자들보다 오차를 최대 50%까지 감소시켰다.
• 10d 모델에서는 $RF^{prox}$가 RMSE 0.396을 기록하여 다음으로 우수한 방법(0.383)을 능가했으며, 고차원 환경에서도 뛰어난 강건성을 보였다.
• 커널 시각은 표준 랜덤 포레스트가 베이즈 오차율에 도달했음에도 불구하고 낮은 확률 추정 성능을 낼 수 있음을 드러내며, 분류 성능와 확률 성능 사이의 괴리를 강조한다.