[논문 리뷰] Binary Space Partitioning Forest

Xuhui Fan, Bin Li외 1명|arXiv (Cornell University)|2019. 04. 11.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 이원 공간 분할(BSP)-트리 과정을 d차원 공간(d > 2)으로 확장하여, d−2개의 차원에 평행한 컷 초평면을 정의하기 위해 두 개의 자유 차원을 샘플링함으로써 자기일관성을 유지한다. 결과적으로 생성된 BSP-숲 앙상블 모델은 기하학적 계산을 줄이고 유연성이 향상되어, 더 적은 컷 수로 몬드리안 숲과 유사하거나 더 뛰어난 회귀 성능을 달성한다.

ABSTRACT

The Binary Space Partitioning~(BSP)-Tree process is proposed to produce flexible 2-D partition structures which are originally used as a Bayesian nonparametric prior for relational modelling. It can hardly be applied to other learning tasks such as regression trees because extending the BSP-Tree process to a higher dimensional space is nontrivial. This paper is the first attempt to extend the BSP-Tree process to a d-dimensional (d>2) space. We propose to generate a cutting hyperplane, which is assumed to be parallel to d-2 dimensions, to cut each node in the d-dimensional BSP-tree. By designing a subtle strategy to sample two free dimensions from d dimensions, the extended BSP-Tree process can inherit the essential self-consistency property from the original version. Based on the extended BSP-Tree process, an ensemble model, which is named the BSP-Forest, is further developed for regression tasks. Thanks to the retained self-consistency property, we can thus significantly reduce the geometric calculations in the inference stage. Compared to its counterpart, the Mondrian Forest, the BSP-Forest can achieve similar performance with fewer cuts due to its flexibility. The BSP-Forest also outperforms other (Bayesian) regression forests on a number of real-world data sets.

연구 동기 및 목표

• 2차원에서 d차원 공간(d > 2)으로 베이지안 비모수적 BSP-트리 과정을 확장하여 더 넓은 학습 적용 가능성을 확보하기 위해.
• BSP-트리의 고차원으로의 비자명한 확장을 해결하기 위해 구조화된 초평면 컷팅 전략을 도입하기 위해.
• 고차원에서 원래 BSP-트리 과정의 자기일관성 성질을 유지하여 효율적인 추론을 가능하게 하기 위해.
• 기하학적 오버헤드를 줄인 유연하고 확장 가능한 앙상블 모델인 BSP-숲을 개발하기 위해.
• 실세계 데이터셋에서 기존의 베이지안 및 비베이지안 회귀 숲보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 각 노드가 d−2개의 차원에 평행한 초평면으로 분할되어, 컷을 위해 두 개의 자유 차원으로 차원을 감소시키는 d차원 BSP-트리 과정을 제안한다.
• d개의 차원에서 두 개의 자유 차원을 선택하기 위한 샘플링 전략을 설계하여 고차원 공간에서의 효율적이고 민감한 분할을 가능하게 한다.
• 분할 간 조건부 분포의 일관성을 확보하여 원래 BSP-트리 과정의 자기일관성 성질을 유지한다.
• 다중 d차원 BSP-트리를 조합하여 회귀 정확도와 일반화 능력을 향상시키기 위해 앙상블 모델인 BSP-숲을 구성한다.
• 자기일관성 성질을 활용하여 추론 중 기하학적 계산을 크게 줄여 효율성을 향상시킨다.
• 확장된 과정을 활용해 확장성 있고 적응 가능한 분할을 고차원 회귀에서 실현하며, 확률적 일관성을 훼손하지 않는다.

실험 결과

연구 질문

• RQ1 BSP-트리 과정은 핵심 확률적 성질을 유지하면서 d차원 공간(d > 2)으로 의미 있게 확장될 수 있는가?
• RQ2 고차원 분할에서 자기일관성을 유지하기 위해 초평면 컷팅 전략을 어떻게 설계할 수 있는가?
• RQ3 차원 샘플링 전략이 유도되는 분할 구조의 민감성과 효율성에 어떤 영향을 미치는가?
• RQ4 BSP-숲의 성능은 정확도와 컷 수 측면에서 몬드리안 숲 및 기타 회귀 숲과 비교해 어떻게 되는가?
• RQ5 기존 방법과 비교해 유지된 자기일관성은 추론 중 기하학적 계산을 얼마나 줄이는가?

주요 결과

• 확장된 BSP-트리 과정은 원래 2차원 버전의 자기일관성 성질을 유지하면서 d차원 공간(d > 2)으로 성공적으로 일반화된다.
• BSP-숲 모델은 더 적은 컷 수로 몬드리안 숲과 유사하거나 더 뛰어난 회귀 성능을 달성한다. 이는 분할의 민감성 향상 덕분이다.
• 자기일관성 성질은 추론 중 기하학적 계산을 크게 줄여 확장성을 향상시킨다.
• 다양한 실세계 데이터셋에서 BSP-숲은 다른 (베이지안) 회귀 숲보다 예측 정확도에서 뛰어난 성능을 보였다.
• 두 개의 자유 차원에 대한 샘플링 전략은 확률적 일관성을 훼손하지 않으면서 효과적이고 효율적인 분할을 보장한다.