[論文レビュー] Binary Space Partitioning Forest

Xuhui Fan, Bin Li+1 more|arXiv (Cornell University)|Apr 11, 2019

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿は、2次元を超えるd次元空間（d > 2）へのバイナリースペースパartitioning（BSP）ツリー過程の拡張を、d−2次元に平行なカットハイパーサーフェスを定義するための2つの自由次元をサンプリングすることによって実現し、自己一貫性を保持する。得られるBSPフォレストアンサンブルモデルは、より高い柔軟性と低減された幾何計算を有することにより、カット数を減らしながらもモンドリアンフォレストと同等またはそれ以上の回帰性能を達成する。

ABSTRACT

The Binary Space Partitioning~(BSP)-Tree process is proposed to produce flexible 2-D partition structures which are originally used as a Bayesian nonparametric prior for relational modelling. It can hardly be applied to other learning tasks such as regression trees because extending the BSP-Tree process to a higher dimensional space is nontrivial. This paper is the first attempt to extend the BSP-Tree process to a d-dimensional (d>2) space. We propose to generate a cutting hyperplane, which is assumed to be parallel to d-2 dimensions, to cut each node in the d-dimensional BSP-tree. By designing a subtle strategy to sample two free dimensions from d dimensions, the extended BSP-Tree process can inherit the essential self-consistency property from the original version. Based on the extended BSP-Tree process, an ensemble model, which is named the BSP-Forest, is further developed for regression tasks. Thanks to the retained self-consistency property, we can thus significantly reduce the geometric calculations in the inference stage. Compared to its counterpart, the Mondrian Forest, the BSP-Forest can achieve similar performance with fewer cuts due to its flexibility. The BSP-Forest also outperforms other (Bayesian) regression forests on a number of real-world data sets.

研究の動機と目的

• 2次元からd次元空間（d > 2）へのベイジアン非パラメトリックBSPツリー過程の拡張を目的とし、より広範な学習への適用可能性を高めること。
• BSPツリーを高次元に非自明に拡張する課題に対処するため、構造的なハイパーサーフェスカット戦略を導入すること。
• 高次元においても、元のBSPツリー過程の自己一貫性の性質を保持することにより、効率的な推論を可能とすること。
• 計算負荷を低減した柔軟でスケーラブルなアンサンブルモデル—BSPフォレスト—を回帰タスク用に開発すること。
• 実世界のデータセットにおいて、既存のベイジアンおよび非ベイジアン回帰フォレストよりも優れた性能を示すこと。

提案手法

• 各ノードがd−2次元に平行なハイパーサーフェスによって分割されるd次元BSPツリー過程を提案し、カットに用いる次元を2つの自由次元にまで次元を低減する。
• d次元から2つの自由次元を選択するためのサンプリング戦略を設計し、高次元空間における効率的かつ柔軟な分割を可能にする。
• 各分割における条件付き分布の一貫性を保証することで、元のBSPツリー過程の自己一貫性の性質を維持する。
• 複数のd次元BSPツリーを組み合わせることで、回帰精度と一般化性能を向上させるアンサンブルモデル、BSPフォレストを構築する。
• 自己一貫性の性質を活用することで、推論中に幾何計算を顕著に削減し、効率性を向上させる。
• 拡張されたプロセスを用いることで、確率的整合性を損なわずに、高次元回帰におけるスケーラブルで適応的な分割を可能にする。

実験結果

リサーチクエスチョン

• RQ1 BSPツリー過程は、2次元を超えるd次元空間（d > 2）に意味的に拡張可能であり、その核心的な確率的性質を保持できるか？
• RQ2 高次元分割において自己一貫性を維持するためのハイパーサーフェスカット戦略は、どのように設計できるか？
• RQ3 次元サンプリング戦略の影響は、得られる分割構造の柔軟性と効率性にどのような影響を及ぼすか？
• RQ4 BSPフォレストの性能は、カット数と精度の観点から、モンドリアンフォレストおよび他の回帰フォレストと比べてどうなるか？
• RQ5 他の手法と比較して、保持された自己一貫性は推論における幾何計算をどの程度低減できるか？

主な発見

• 拡張されたBSPツリー過程は、2次元バージョンの自己一貫性の性質を保持しつつ、d次元空間（d > 2）への一般化に成功した。
• BSPフォレストモデルは、より高い分割の柔軟性のおかげで、カット数を減らしながらも、モンドリアンフォレストと同等またはそれ以上の回帰性能を達成した。
• 自己一貫性の性質のおかげで、推論中の幾何計算が顕著に削減され、スケーラビリティが向上した。
• 多数の実世界データセットにおいて、BSPフォレストは他の（ベイジアン）回帰フォレストよりも予測精度で優れた性能を示した。
• 2つの自由次元のサンプリング戦略により、確率的整合性を損なわず、効果的かつ効率的な分割が実現された。