[논문 리뷰] Narrowing the Gap: Random Forests In Theory and In Practice

Misha Denil, David S. Matheson외 1명|arXiv (Cornell University)|2013. 10. 04.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 175

한 줄 요약

이 논문은 이전 이론적 모델에서의 핵심 단순화를 완화함으로써 일관성과 경험적 성능을 향상시킨 새로운 이론적으로 분석 가능한 랜덤 회귀 숲의 변종을 제안한다. 새로운 알고리즘의 일관성을 증명하고, 광범위한 실험을 통해 기존 이론적 변종을 능가하며, 도전적인 컴퓨터 비전 회귀 과제에서 브라이먼의 원래 랜덤 숲과 밀도로 가까운 실용적 성능을 달성함을 보여준다.

ABSTRACT

Despite widespread interest and practical use, the theoretical properties of random forests are still not well understood. In this paper we contribute to this understanding in two ways. We present a new theoretically tractable variant of random regression forests and prove that our algorithm is consistent. We also provide an empirical evaluation, comparing our algorithm and other theoretically tractable random forest models to the random forest algorithm used in practice. Our experiments provide insight into the relative importance of different simplifications that theoreticians have made to obtain tractable models for analysis.

연구 동기 및 목표

• 랜덤 숲의 이론적 분석과 실용적 구현 간 지속적인 격차, 특히 회귀 설정에서의 격차를 해결한다.
• 이전 이론적 연구에서 내포된 단순화된 가정을 줄이며 이론적으로 분석 가능하면서도 유지하는 새로운 랜덤 숲 변종을 개발한다.
• 경험적 평가를 통해 새로운 알고리즘이 브라이먼의 널리 사용되는 실용적 알고리즘에 비해 이론적 모델들보다 더 가까운 성능을 달성함을 입증한다.
• 이론적 모델에서의 다양한 알고리즘 단순화가 경험적 성능에 미치는 영향을 규명한다.
• 일관성 초과의 이론적 분석 기초를 마련하며, 수렴 속도 및 일반화 경계와 같은 향후 연구를 위한 기반을 제공한다.

제안 방법

• 이전 이론적 모델에서의 가정을 완화하기 위해 분할 선택과 잎 예측 방식을 수정한 새로운 랜덤 회귀 숲 알고리즘을 제안한다.
• 가우시안 분포에서 샘플링된 후보 분할의 부분집합을 사용하는 데이터 의존적 분할 선택 메커니즘을 도입하여 순수하게 랜덤한 분할보다 더 유연한 성능을 확보한다.
• 잎 예측기 학습을 위해 두 번째 독립된 데이터셋을 사용하는 기법을 도입하며, 이는 비아우(2012)의 연구에서 영감을 받은 것으로, 이론적 분석 가능성은 유지하면서도 성능을 향상시킨다.
• 컴퓨터 비전 회귀 과제를 위해 깊이 차이를 이용한 특징 공학 전략을 구현하여 깊이 불변 특징을 생성한다.
• 각 관절에 대해 개별 랜덤 숲을 훈련하여, 레이블이 부여된 신체 부위 데이터를 기반으로 각 픽셀에서 관절까지의 상대적 오프셋을 예측한다.
• 깊이 영상의 검증 세트와 진짜 관절 위치를 사용하여 평균 제곱 오차(MSE)를 기준으로 성능을 평가한다.

실험 결과

연구 질문

• RQ1 랜덤 숲 모델의 이론적 단순화는 어느 정도 완화될 수 있으며, 이로 인해 일관성과 경험적 성능이 향상되는가?
• RQ2 랜덤 분할 선택과 잎 예측기 학습을 위한 독립된 데이터셋 사용과 같은 다양한 알고리즘 단순화가 이론적 랜덤 숲 모델의 성능에 어떤 영향을 미치는가?
• RQ3 이론적으로 일관성 있는 랜덤 숲 변종이 브라이먼의 널리 사용되는 실용적 알고리즘과 유사한 경험적 성능을 달성할 수 있는가?
• RQ4 실제 회귀 과제에서 이론적 랜덤 숲 모델의 일반화 오차에 영향을 주는 다양한 설계 선택의 상대적 영향은 무엇인가?
• RQ5 더 현실적인 이론적 모델은 이론적 보장과 실용적 성능 간의 일치도를 향상시키는가?

주요 결과

• 제안된 랜덤 숲 변종은 일관성이 입증되어 데이터 크기가 증가함에 따라 최적의 예측으로 수렴함을 보장하는 이론적 기반을 확립한다.
• 경험적으로, 새로운 알고리즘은 평가된 모든 이론적 모델 중에서 가장 낮은 테스트 오차를 기록했으며, 이는 이전 이론적 변종보다도 브라이먼의 원래 알고리즘에 더 가까운 성능을 보임을 의미한다.
• 킨ect 관절 예측 과제에서 오차 순서는 높은 것에서 낮은 것으로 Biau08 > Biau12 > Ours > Breiman로 나타나, 새로운 모델이 이전 이론적 모델보다 뚜렷이 뛰어난 성능을 보임을 입증한다.
• 경험적 결과는 Biau08에서처럼 완전히 랜덤한 분할 선택 가정을 완화할 경우 성능 향상이 상당히 이루어짐을 보여주며, 데이터 기반 분할 선택의 중요성을 강조한다.
• 잎 예측을 위한 두 번째 독립된 데이터셋 사용은 복잡성을 증가시키지만, 성능 향상에 기여하며 이론적 분석을 뒷받침한다.
• 이 연구는 실용적 랜덤 숲와 다수의 이론적으로 분석 가능한 변종 간의 첫 번째 직접적인 경험적 비교를 제공하며, 이론적 단순화와 실용적 효과성 사이의 상호 교환 관계에 대한 새로운 통찰을 제공한다.