[論文レビュー] Escaping the curse of dimensionality with a tree-based regressor

Samory Kpotufe|ArXiv.org|Feb 19, 2009

Algorithms and Data Compression参考文献 15被引用数 10

ひとこと要約

本論文は、データの内在的アッソウド次元にのみ依存する収束速度を達成することで、次元の呪いを回避するRPtreeに基づく回帰器を導入する。ノイズを注入した分割と深さブースティング手順を用いたランダム化・再帰的分割により、バイアスが内在次元に依存するレートで減少することが保証され、内在的複雑性が低い高次元データに対しても有効である。

ABSTRACT

We present the first tree-based regressor whose convergence rate depends only on the intrinsic dimension of the data, namely its Assouad dimension. The regressor uses the RPtree partitioning procedure, a simple randomized variant of k-d trees.

研究の動機と目的

• 非パラメトリック回帰における次元の呪いに対処すること。これは、環境次元Dが増加するにつれて性能が著しく低下する問題である。
• 収束速度がデータの内在的アッソウド次元dにのみ依存し、Dに依存しない木ベースの回帰器を開発すること。
• 過剰リスクが低い良い分割を木の階層から自動的に選択できる実用的なアルゴリズムを設計すること。
• 推定子のバイアスとリスクが未知のアッソウド次元dにのみ依存することを示す理論的保証を提供すること。

提案手法

• ランダム化されたk-dツリーの変種、RPtreeを用いる。これは、ノイズを注入した分割を伴うランダムな超平面を用いて再帰的に空間を分割し、直径の低減を改善する。
• 二段階の手続きを採用する：交替する中央値分割とノイズ付き分割を用いた基本RPtreeによる木の構築、および反復的サンプリングにより成功確率をブーストするcoreRPtree。
• 基本RPtreeを複数の並列呼び出しで実行する深さブースティング戦略を適用し、直径低減基準を満たす最小の木を返す。
• 経験的データ直径低減に基づく停止基準を導入し、過学習を回避しながらバイアスを低く保つ。
• 物理的セルサイズではなく、セル内での経験的直径を追跡する新しいバイアス解析技術に依存する。これにより、不規則なセル形状であっても解析が可能になる。
• 交差検証または自動停止を用いて最終的な分割を選択し、バイアスと分散のバランスを最小の計算コストで達成する。

実験結果

リサーチクエスチョン

• RQ1 木ベースの回帰器は、環境次元Dではなく内在的アッソウド次元dにのみ依存する収束速度を達成できるか？
• RQ2 内在次元が低いデータに対して、RPtreeのようなランダム化分割スキームが高速な直径低減を保証できるように設計できるか？
• RQ3 一般のデータ分布下で、RPtree回帰器のバイアスとリスクにどのような理論的保証を提供できるか？
• RQ4 ヒルベルト曲線に類似した構造を持つデータに対して、アルゴリズムは局所次元が変化する場合に自動的に適応できるか？
• RQ5 特にセルが不規則な場合に、物理的セル直径に依存せずに推定子バイアスを解析することは可能か？

主な発見

• RPtree回帰器の過剰リスクは、データの未知のアッソウド次元dにのみ依存し、環境次元Dには依存しない。
• 高い確率で、アッソウド次元dのデータに対して、木の深さがC′d log d以下であることが保証される。ここでC′は普遍定数である。
• 最終木のノード数はO(n^6)で抑えられ、使用するランダム方向の数はO(n^6 log n)である。これにより、スケーラビリティが確保される。
• 任意のセル内のデータの直径が、d log dに比例するレートで低減されることを保証する。これにより、バイアス低減が高速に達成される。
• ヒルベルト空間充填曲線のような構造で、小スケールではアッソウド次元が低く、大スケールでは高次元に見えるデータに対しても、アルゴリズムは適応可能である。
• 理論的解析により、物理的セル直径が小さくならない場合でも、セル内の経験的データ直径を介してバイアスを制御可能であることが示された。不規則な分割ルールに対しても解析が可能になる。