[論文レビュー] Binary Space Partitioning Forests

Xuhui Fan, Bin Li+1 more|arXiv (Cornell University)|Mar 22, 2019

Machine Learning and Data Classification参考文献 29被引用数 10

ひとこと要約

本稿では、2次元の自由変数を1回に1組選び、柔軟で自己整合性のある超平面カットを生成することで、d次元空間に拡張されたバイナリースペースパーション（BSP）ツリー過程を拡張した、新しいベイジアンノンパラメトリック回帰モデル、BSP-Forestを提案する。この手法は、Mondrian Forest よりも少ないカット数で最先端の性能を達成し、自己整合的で幾何学的に注意を払った分割戦略により、複雑な2変数間の特徴依存関係を捉えることで、実世界のデータセットにおいて他の回帰フォレストを上回る性能を発揮する。

ABSTRACT

The Binary Space Partitioning~(BSP)-Tree process is proposed to produce flexible 2-D partition structures which are originally used as a Bayesian nonparametric prior for relational modelling. It can hardly be applied to other learning tasks such as regression trees because extending the BSP-Tree process to a higher dimensional space is nontrivial. This paper is the first attempt to extend the BSP-Tree process to a d-dimensional (d>2) space. We propose to generate a cutting hyperplane, which is assumed to be parallel to d-2 dimensions, to cut each node in the d-dimensional BSP-tree. By designing a subtle strategy to sample two free dimensions from d dimensions, the extended BSP-Tree process can inherit the essential self-consistency property from the original version. Based on the extended BSP-Tree process, an ensemble model, which is named the BSP-Forest, is further developed for regression tasks. Thanks to the retained self-consistency property, we can thus significantly reduce the geometric calculations in the inference stage. Compared to its counterpart, the Mondrian Forest, the BSP-Forest can achieve similar performance with fewer cuts due to its flexibility. The BSP-Forest also outperforms other (Bayesian) regression forests on a number of real-world data sets.

研究の動機と目的

• 2次元からd次元空間へのバイナリースペースパーション（BSP）ツリー過程の拡張を、自己整合性の性質を保ちながら行う。
• 高次元特徴空間における2次元の同時カットを活用し、スケーラブルで効率的なアンサンブルモデルを構築する。
• 各ノード内でのトレーニングデータの凸包に制限することで、推論における幾何的複雑性を低減する。
• 次元使用分析を通じて、予測性能を左右する関連する特徴ペアを効果的に同定可能にする。
• 既存のベイジアンおよび頻度主義的回帰フォレストと比較して、予測精度とサンプル効率の面で本モデルの優位性を実証的に検証する。

提案手法

• 拡張されたBSPツリー過程は、d−2次元に平行なカット超平面を生成する。2つの自由次元は、ノードの各次元ペアへの投影の周囲長に比例する確率で選択される。
• 各ノードは、サンプリングされた次元ペアに投影され、2次元の投影上で標準的なBSPツリーのカットが適用され、残りの次元では固定方向に拡張される。
• 自己整合性は、ドメイン制限下での分布不変性を保証するように、サンプリング戦略の洗練された設計によって維持される。
• 複数の木を独立して次元ペアを選択させることで構築されるアンサンブルモデル、BSP-Forestにより、2次元特徴相互作用の柔軟なモデリングが可能になる。
• 推論には、各ノード内でトレーニングデータの凸包内でのみカットが適用される、効率的なパーティクルギブスサンプラーが採用され、計算コストが顕著に削減される。
• 自己整合性のおかげで、簡略化されたサンプリング手順が、完全な幾何的計算と同一の平衡分布を維持することが保証される。

実験結果

リサーチクエスチョン

• RQ1 BSPツリー過程は、自己整合性の性質を保ちながらd次元空間に拡張可能か？
• RQ2 幾何的複雑性が著しく増大しないように、2次元同時カットを許容する柔軟な高次元空間分割戦略をどのように設計できるか？
• RQ3 このような拡張は、Mondrian Forest や BART といった既存手法と比較して、より効率的かつ正確な回帰フォレストを実現できるか？
• RQ4 BSP-Forestは、目的変数を決定づける最も関連性の高い特徴ペアをどの程度まで特定できるか？
• RQ5 凸包に基づくカットの使用は、完全な幾何的モデルの統計的性質を保ちつつ、計算効率を向上させることができるか？

主な発見

• BSP-Forestは、テストされた5つの実世界データセットすべてで最小の平均二乗誤差（RMAE）を達成し、BART、ランダムフォレスト、勾配ブースティング、Mondrian Forestを上回る性能を発揮した。
• Friedman関数では、RMAEが0.15±0.03を達成し、Mondrian Forestと同等の性能を示したが、カット数は著しく少なかった。
• 予算値が0.4から1.4に増加する間、BSP-ForestはMondrian Forestより常に少ないカット数を用いており、平均カット数は4から5にしか増加しなかった。
• Servoデータセットでは、RMAEが0.23±0.04を達成し、最良の手法と同等の性能を発揮したが、カット数は少なく抑えられた。
• Tecatorデータセットでは、RMAEが2.09±0.61を達成し、Mondrian Forest や BART を含むすべてのベースラインを上回った。
• 次元使用分析の結果、Friedman関数において真の関連する5つの次元（x₁からx₅）を、事前の知識なしに正しく同定した。