[논문 리뷰] Random Projection Forests

Tyler M. Tomita, J. Dale Browne외 7명|arXiv (Cornell University)|2015. 06. 10.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 축에 수직인 분류수림과 기존의 기울어진 분류수림보다 정확도를 향상시키면서도 계산 효율성과 해석 가능성도 유지하는 새로운 결정수림인 희박 투영 기반 기울어진 랜덤 수림(SPORF)을 제안한다. SPORF는 차원 수와 샘플 크기가 다양한 100개 이상의 분류 문제로 구성된 벤치마크 세트에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Decision forests, including Random and Gradient Boosting Trees, have recently demonstrated state-of-the-art performance in a variety of machine learning settings. Decision forests are typically ensembles of axis-aligned decision trees; that is, trees that split only along feature dimensions. In contrast, many recent extensions to decision forests are based on axis-oblique splits. Unfortunately, these extensions forfeit one or more of the favorable properties of decision forests based on axis-aligned splits, such as robustness to many noise dimensions, interpretability, or computational efficiency. We introduce yet another decision forest, called Sparse Projection Oblique Randomer Forests (SPORF). SPORF uses very sparse random projections, i.e., linear combinations of a small subset of features. SPORF significantly improves accuracy over existing state-of-the-art algorithms on a standard benchmark suite for classification with >100 problems of varying dimension, sample size, and number of classes. To illustrate how SPORF addresses the limitations of both axis-aligned and existing oblique decision forest methods, we conduct extensive simulated experiments. SPORF typically yields improved performance over existing decision forests, while mitigating computational efficiency and scalability and maintaining interpretability. SPORF can easily be incorporated into other ensemble methods such as boosting to obtain potentially similar gains.

연구 동기 및 목표

• 축에 수직인 결정수림의 한계를 해결하기 위해, 기울어진 분할을 위한 새로운 방법을 도입함으로써 고차원 공간에서의 정확도 저하 문제를 해결한다.
• 밀도 높은 또는 복잡한 투영을 사용하는 기존 기울어진 결정수림 방법에서 발생하는 계산 비효율성과 해석 가능성 저하 문제를 해결한다.
• 랜덤 수림가 지닌 유리한 특성들을 유지하면서도 예측 성능를 크게 향상시킬 수 있는 확장 가능하고 강력한 앙상블 방법을 개발한다.
• 기존의 앙성 프레임워크(예: 부스팅)에 쉽게 통합될 수 있도록 하여 보다 넓은 머신러닝 파이프라인에서 성능 향상을 지속적으로 확장할 수 있도록 한다.

제안 방법

• SPORF는 각 분할이 소수의 무작위로 선택된 특성 조합에 기반한 선형 조합으로 이루어지는 희박한 랜덤 투영을 사용하여 결정 트리를 구성한다.
• 각 투영은 희박하도록 설계되어 있어, 각 분할에 기여하는 특성 수가 매우 적어져 계산 효율성과 해석 가능성을 유지한다.
• 랜덤화된, 데이터에 의존하지 않는 투영 전략을 사용하여 과적합을 피하면서도 복잡한 특성 간 상호작용을 포착하는 기울어진 결정 경계를 생성한다.
• SPORF는 랜덤 수림의 앙상블 구조를 유지하여 일반화 능력과 강건성을 향상시킨다.
• 기존의 부스팅 및 랜덤 수림 프레임워크와의 호환성을 고려하여 설계되어 즉시 성능 향상을 얻을 수 있는 플러그인 방식의 성능 향상이 가능하다.

실험 결과

연구 질문

• RQ1 결정수림에서 희박한 랜덤 투영을 사용할 경우, 축에 수직인 분할보다 정확도는 높아지면서도 계산 효율성은 유지할 수 있는가?
• RQ2 기존의 기울어진 결정수림 방법과 비교해 SPORF는 확장성과 해석 가능성 측면에서 어떻게 다른가?
• RQ3 다양한 차원 수와 샘플 크기를 가진 다양한 분류 문제에서 SPORF는 어느 정도 성능 향상을 이룬다?
• RQ4 SPORF는 부스팅과 같은 다른 앙상블 학습 방법에 효과적으로 통합되어 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• SPORF는 차원 수와 샘플 크기가 다양한 100개 이상의 분류 문제로 구성된 벤치마크 세트에서 기존의 축에 수직인 분류수림과 기울어진 분류수림을 모두 초월하는 최신 기술 수준의 정확도를 달성한다.
• 희박한 랜덤 투영의 사용 덕분에 SPORF는 고차원 데이터셋에 대해 확장 가능한 높은 계산 효율성을 유지한다.
• 기울어진 방법에서 특성 기여도가 흐려지는 것과 달리, SPORF는 각 분할에서 소수의 특성만을 기반으로 하여 해석 가능성을 유지한다.
• 광범위한 시뮬레이션 결과, 고차원 및 노이즈가 많은 환경을 포함한 다양한 데이터 환경에서 SPORF가 일관되게 성능 향상을 보임을 확인했다.
• SPORF는 부스팅 프레임워크와 강한 호환성을 보이며, 앙상블 학습 파이프라인에서의 광범위한 도입 가능성을 시사한다.