[論文レビュー] Rectangular Bounding Process

Xuhui Fan, Bin Li+1 more|arXiv (Cornell University)|Mar 10, 2019

Data Management and Algorithms被引用数 11

ひとこと要約

本稿では、データポイントを独立して生成される長方形の境界ボックスで囲むことで、カットベースの手法にありがちな過剰な分割を回避する、多次元空間向けの新しい非パラメトリックな分割事前分布である長方形境界過程（RBP）を提案する。RBPは自己整合性を保証しており、有界でない領域への拡張が可能であり、回帰木や関係モデルにおいても、より少ない、より簡潔なブロックで競争力ある性能を達成する。

ABSTRACT

Stochastic partition models divide a multi-dimensional space into a number of rectangular regions, such that the data within each region exhibit certain types of homogeneity. Due to the nature of their partition strategy, existing partition models may create many unnecessary divisions in sparse regions when trying to describe data in dense regions. To avoid this problem we introduce a new parsimonious partition model -- the Rectangular Bounding Process (RBP) -- to efficiently partition multi-dimensional spaces, by employing a bounding strategy to enclose data points within rectangular bounding boxes. Unlike existing approaches, the RBP possesses several attractive theoretical properties that make it a powerful nonparametric partition prior on a hypercube. In particular, the RBP is self-consistent and as such can be directly extended from a finite hypercube to infinite (unbounded) space. We apply the RBP to regression trees and relational models as a flexible partition prior. The experimental results validate the merit of the RBP {in rich yet parsimonious expressiveness} compared to the state-of-the-art methods.

研究の動機と目的

• カットベースの確率的分割モデル（例：モンディアン過程）がもたらすスパース領域における過剰な分割問題に対処すること。
• 自己整合的であり、有限の超立方体から無限で非有界な空間へと拡張可能な非パラメトリックな分割事前分布を構築すること。
• 多次元特徴空間におけるデータの均質性モデリングに、グリッドや階層的分割の代替として柔軟でありながらも簡潔な手法を提供すること。
• 良好な理論的性質を持つ境界ボックスに基づく分割事前分布を用いることで、回帰木や関係モデルにおける効率的な推論を可能にすること。

提案手法

• RBPは各次元で独立した段階関数を用いて長方形の境界ボックスを生成し、各ボックスは値が1の区間で定義され、それ以外は0である。
• 各ボックスは、長さに無記憶の指数分布を、開始位置に一様分布を用いて構築され、交換可能性と取り扱いやすい推論が保証される。
• このプロセスは自己整合的である：部分領域における分割の分布は、全体領域の周辺分布と一致するため、コルモゴロフの拡張定理を用いて無限空間への直接拡張が可能である。
• 境界ボックスの期待総体積は、バジェットパラメータによって制御され、大きなボックスが少ないか、小さなボックスが多数かのトレードオフが可能である。
• 結合分布を境界ボックスの上での周辺尤度分解により要因分解することで、効率的なMCMC推論が可能になる。
• 境界ボックスの独立性と位置の条件付き一様性を活用し、ギブスサンプリングに適した明確な条件付き事後分布を導出する。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスに基づく分割プロセスは、パラメータの簡潔さを保ちつつ、カットベースのモデルを上回る性能を示せるか？
• RQ2 RBPは部分領域に制限された場合でも自己整合性を維持するか？これにより、非有界空間への拡張が可能か？
• RQ3 回帰木や関係モデルにおいて、SOTAの分割事前分布と比較してRBPはどのように性能を発揮するか？
• RQ4 RBPは、定期的グリッドや階層的モデルと比較して、より少ない、より大きなブロックで競争力ある性能を達成できるか？

主な発見

• RBPは、モンディアン過程のようなカットベースのモデルと比較して、スパース領域における不要な分割を大幅に削減し、はるかに簡潔な分割を達成する。
• RBPの自己整合性の性質により、有限の超立方体から無限の多次元空間への直接的な拡張が可能であり、理論的に大きな利点を有する。
• 回帰タスクにおいて、ベースラインモデルと比較してブロック数を減らしながらも、競争力ある予測精度を達成しており、モデルの効率性が向上していることが示された。
• 合成データおよび実世界のデータセットに対する実験結果から、RBPは過剰な分割を最小限に抑えつつ、豊かな表現力を有していることが確認された。
• RBPのMCMC推論手順は効率的かつスケーラブルであり、複雑なモデリングタスクにおける実用的応用を可能にしている。