[논문 리뷰] Randomer Forests

Tyler M. Tomita, Mauro Maggioni외 1명|arXiv (Cornell University)|2015. 06. 10.

Machine Learning and Data Classification인용 수 8

한 줄 요약

이 논문은 희소 무작위 투영을 사용하여 기울어진 분할을 생성하는 새로운 결합 결정수인 희소 투영 기울어진 랜덤 포레스트(SPORF)를 제안한다. 이는 100개 이상의 분류 문제에서 최신 기술 대비 정확도를 향상시키면서도 계산 효율성과 해석 가능성도 유지한다. SPORF는 축에 수직인 방식과 기울어진 방식의 장점을 최소한의 특성 희소 선형 조합을 통해 통합함으로써 뛰어난 성능을 달성한다.

ABSTRACT

Decision forests, including Random and Gradient Boosting Trees, have recently demonstrated state-of-the-art performance in a variety of machine learning settings. Decision forests are typically ensembles of axis-aligned decision trees; that is, trees that split only along feature dimensions. In contrast, many recent extensions to decision forests are based on axis-oblique splits. Unfortunately, these extensions forfeit one or more of the favorable properties of decision forests based on axis-aligned splits, such as robustness to many noise dimensions, interpretability, or computational efficiency. We introduce yet another decision forest, called Sparse Projection Oblique Randomer Forests (SPORF). SPORF uses very sparse random projections, i.e., linear combinations of a small subset of features. SPORF significantly improves accuracy over existing state-of-the-art algorithms on a standard benchmark suite for classification with >100 problems of varying dimension, sample size, and number of classes. To illustrate how SPORF addresses the limitations of both axis-aligned and existing oblique decision forest methods, we conduct extensive simulated experiments. SPORF typically yields improved performance over existing decision forests, while mitigating computational efficiency and scalability and maintaining interpretability. SPORF can easily be incorporated into other ensemble methods such as boosting to obtain potentially similar gains.

연구 동기 및 목표

• 축에 수직인 방식과 기존 기울어진 결정수의 한계, 예를 들어 노이즈에 대한 저항력 감소, 확장성 부족, 또는 해석 가능성 손실를 해결하기 위해.
• 계산 효율성과 해석 가능성을 유지하면서도 분류 정확도를 크게 향상시키는 방법을 개발하기 위해.
• 매우 희소한 랜덤 투영을 사용하여 결합 결정수에서 효과적인 기울어진 분할을 생성하는 방법을 탐색하기 위해.
• SPORF가 그라디언트 부스팅과 같은 다른 앙상블 방법에 원활하게 통합될 수 있는지 평가하기 위해.

제안 방법

• SPORF는 각 분할이 특성의 소수의 부분집합만을 포함하는 선형 조합으로 정의된 기울어진 분할을 사용하여 결정수를 구성한다.
• 투영 계수는 희소 분포에서 무작위로 샘플링되며, 이로 인해 각 분할에 기여하는 특성 수가 매우 적어지므로 희소성과 계산 효율성이 유지된다.
• 숲의 각 트리는 데이터의 부트스트랩 샘플을 사용하여 훈련되며, 분할은 희소 투영된 특성 기반의 정보 양을 최대화하도록 선택된다.
• 최종 예측은 숲에 포함된 모든 트리의 예측을 집계하여 이루어지며, 분류 작업의 경우 다수결 투표 방식을 사용한다.
• 이 방법은 기존 앙상블 프레임워크(예: 부스팅)와 호환되도록 설계되어 있어, 다른 앙상블 학습 철학으로의 확장 가능성도 있다.

실험 결과

연구 질문

• RQ1 매우 희소한 랜덤 투영이 계산 효율성이나 해석 가능성 손실 없이 결정수의 정확도를 향상시킬 수 있는가?
• RQ2 SPORF는 고차원 노이즈에 대해 축에 수직인 방식과 기존 기울어진 결정수보다 얼마나 더 견고한가?
• RQ3 SPORF는 더 표현력이 풍부한 기울어진 결정 경계를 허용하면서도 해석 가능성은 어느 정도 유지할 수 있는가?
• RQ4 SPORF는 그라디언트 부스팅과 같은 다른 앙상블 방법에 효과적으로 통합될 수 있는가? 이를 통해 유사한 성능 향상을 얻을 수 있는가?

주요 결과

• SPORF는 다양한 차원, 표본 크기, 클래스 수를 가진 100개 이상의 분류 문제를 포함하는 벤치마크 세트에서 기존 최고 수준의 알고리즘보다 유의미하게 높은 정확도를 달성한다.
• 매우 희소한 랜덤 투영의 사용 덕분에 SPORF는 고차원 환경에서도 높은 계산 효율성과 확장성을 유지할 수 있다.
• SPORF는 각 분할에 기여하는 특성 수를 제한함으로써 해석 가능성을 유지한다. 이는 특성 중요도를 흐리게 만들 수 있는 밀도 높은 기울어진 방법과는 대조된다.
• 다양한 데이터 구성에서 실시한 광범위한 시뮬레이션 실험을 통해 SPORF는 축에 수직인 방식과 기존 기울어진 결정수 방식을 일관되게 능가함을 입증했다.
• SPORF의 설계는 부스팅과 같은 다른 앙상블 방법에 쉽게 통합될 수 있어, 더 넓은 적용 범위와 성능 향상 잠재력을 시사한다.