[논문 리뷰] Sparse Projection Oblique Randomer Forests

Tyler M. Tomita, J. Dale Browne외 9명|arXiv (Cornell University)|2015. 06. 10.

Machine Learning and Data Classification참고 문헌 28인용 수 8

한 줄 요약

이 논문은 매우 희소한 무작위 투영을 사용하여 기울어진 분할을 생성하는 결정 숲인 Sparse Projection Oblique Randomer Forests(SPORF)를 소개한다. SPORF는 기울어진 숲의 정확성과 축에 따라 정렬된 숲의 계산 효율성 및 강인성을 결합한다. SPORF는 다양한 100개 이상의 데이터셋에서 최신 기준 성능을 달성하면서도 해석 가능성과 확장성을 유지한다.

ABSTRACT

Decision forests, including Random Forests and Gradient Boosting Trees, have recently demonstrated state-of-the-art performance in a variety of machine learning settings. Decision forests are typically ensembles of axis-aligned decision trees; that is, trees that split only along feature dimensions. In contrast, many recent extensions to decision forests are based on axis-oblique splits. Unfortunately, these extensions forfeit one or more of the favorable properties of decision forests based on axis-aligned splits, such as robustness to many noise dimensions, interpretability, or computational efficiency. We introduce yet another decision forest, called "Sparse Projection Oblique Randomer Forests" (SPORF). SPORF uses very sparse random projections, i.e., linear combinations of a small subset of features. SPORF significantly improves accuracy over existing state-of-the-art algorithms on a standard benchmark suite for classification with >100 problems of varying dimension, sample size, and number of classes. To illustrate how SPORF addresses the limitations of both axis-aligned and existing oblique decision forest methods, we conduct extensive simulated experiments. SPORF typically yields improved performance over existing decision forests, while mitigating computational efficiency and scalability and maintaining interpretability. SPORF can easily be incorporated into other ensemble methods such as boosting to obtain potentially similar gains.

연구 동기 및 목표

• 축에 따라 정렬된 숲과 기존의 기울어진 결정 숲의 한계를 해결하기 위해 그들의 강점을 융합한다.
• 예측 정확도를 향상시키면서도 계산 효율성, 노이즈에 대한 강인성, 해석 가능성 유지 방법을 개발한다.
• 기존 기울어진 숲에서 표현력 향상을 위해 효율성 또는 해석 가능성의 손실를 초래하는 상호 보완적 trade-off를 극복한다.
• 고차원 및 대규모 데이터에 적합한 확장 가능하고 효율적이며 해석 가능한 트리 앙상블을 가능하게 한다.
• 부스팅과 같은 다른 앙상블 방법으로의 확장이 가능한 유연한 프레임워크를 제공한다.

제안 방법

• SPORF는 각 투영이 소수의 특성만 조합하는 매우 희소한 무작위 투영을 분할 후보로 사용하여 결정 트리를 구축한다.
• 각 노드에서 알고리즘은 희소한 무작위 투영의 가족에서 샘플링하여 최적의 분할 방향을 식별하며, 이로 인해 희소성과 계산 효율성이 유지된다.
• 기하학적 조합의 전수 탐색이나 조밀한 선형 조합 대신, 희소 투영에 대한 무작위 탐색을 사용하여 계산 비용을 감소시킨다.
• 각 분할이 소수의 특성의 선형 조합임을 보장함으로써 SPORF는 해석 가능성을 유지하며, 조밀하고 이해하기 어려운 투영을 피한다.
• 알고리즘은 R 및 Python 모두에서 구현되었으며, scikit-learn API 호환성을 갖추어 기존 머신러닝 파ip라인에의 통합을 가능하게 한다.
• ‘숲 압축(Forest Packing)’ 최적화 기법을 적용하여 숲 데이터 구조를 압축함으로써 예측 속도를 최대 100배 향상시켰다.

실험 결과

연구 질문

• RQ1 기울어진 분할의 표현력을 갖춘 결정 숲 방법이 축에 따라 정렬된 트리의 계산 효율성과 강인성과 융합할 수 있는가?
• RQ2 분할 후보로 희소한 무작위 투영을 사용할 경우, 기존의 RF 및 XGBoost 대비 다양한 데이터셋에서 일반화 성능이 향상되는가?
• RQ3 기존 기울어진 숲 방법보다 뛰어난 성능을 내면서도 SPORF가 해석 가능성과 확장성 유지 정도는 어느 정도인가?
• RQ4 XGBoost 및 Ranger와 같은 최신 기준 방법과 비교할 때 SPORF의 정확도 및 예측 속도 성능은 어떠한가?
• RQ5 기존의 랜덤 포레스트가 실패할 수 있는 경우, 예를 들어 희소하고 고차원적인 신호가 존재하는 환경에서 SPORF는 통계적 일致성(consistency)을 달성할 수 있는가?

주요 결과

• SPORF는 차원 수, 샘플 크기, 클래스 수가 다양한 100개 이상의 데이터셋으로 구성된 벤치마크 세트에서 최신 기준 분류 정확도를 달성한다.
• Higgs 및 MNIST 데이터셋에서 SPORF는 예측 시간에서 Ranger보다 뚜렷하게 빠르며, p53 데이터셋에서는 오직 약간 더 느리다.
• 숲 압축 최적화 기법은 표준 SPORF 대비 예측 시간을 100배 이상 단축시키며, 모든 세 가지 테스트 데이터셋에서 XGBoost 대비 10배 빠른 예측 속도를 달성한다.
• 기존 랜덤 포레스트가 증명적으로 일관성이 없는 문제에서 SPORF는 경험적으로 통계적 일관성을 보이며, 한계에서 오차율이 0%에 도달한다.
• 모의 실험을 통해 더 강력한 개별 트리와 트리 간 상관관계 감소로 인해 RF 및 기존 기울어진 방법보다 SPORF가 뛰어난 성능을 내는 것으로 나타났다.
• SPORF는 고차원 노이즈에 강인하며 계산적으로 효율적이며, R과 Python용 CRAN 및 PyPI에 구현된 버전을 제공한다.