[論文レビュー] The Random Forest Kernel and other kernels for big data from random partitions

Alex Davies, Zoubin Ghahramani|Cambridge University Engineering Department Publications Database|Feb 18, 2014

Gaussian Processes and Bayesian Inference参考文献 11被引用数 36

ひとこと要約

この論文は、データのランダムな分割から効果的なカーネルを構築するための新規フレームワーク、Random Partition Kernelを紹介している。これにより、大規模データに対するスケーラブルなカーネル手法が可能になる。ランダムな分割とカーネル関数を結びつけることで、Random Forest KernelとFast Cluster Kernelを提案し、実世界の回帰タスクにおいて標準的なカーネルを著しく上回る性能を発揮するとともに、ランダム分割に基づく近似スキームにより、ガウス過程、SVM、カーネルPCAにおけるO(N)の推論を可能にする。

ABSTRACT

We present Random Partition Kernels, a new class of kernels derived by demonstrating a natural connection between random partitions of objects and kernels between those objects. We show how the construction can be used to create kernels from methods that would not normally be viewed as random partitions, such as Random Forest. To demonstrate the potential of this method, we propose two new kernels, the Random Forest Kernel and the Fast Cluster Kernel, and show that these kernels consistently outperform standard kernels on problems involving real-world datasets. Finally, we show how the form of these kernels lend themselves to a natural approximation that is appropriate for certain big data problems, allowing $O(N)$ inference in methods such as Gaussian Processes, Support Vector Machines and Kernel PCA.

研究の動機と目的

• 複雑で高次元の実世界データに対して、効果的で直感的なカーネル構築手法の不足に対処すること。
• ランダムな分割を自然に生成するアルゴリズム（例：ランダムフォレストやクラスタリング手法）からカーネルを導出する一般化されたフレームワークの開発。
• 提案されたカーネルの構造を活用することで、大規模データ上でカーネルマシン（例：GP、SVM、カーネルPCA）におけるスケーラブルな推論を可能にすること。
• 実世界の回帰ベンチマークにおいて、提案されたカーネル（Random Forest KernelとFast Cluster Kernel）が標準カーネルを上回ることを実証的に示すこと。

提案手法

• 論文は、データのランダムな分割と正定値カーネルの間の明確な関係を確立し、2点の類似度がランダム分割において同じクラスタに属する確率から導出できることを示している。
• 任意のランダム分割手順に対して、2点が複数のランダム分割において同じクラスタに属する確率として定義される一般化されたカーネル構築法を導入している。
• Random Forest Kernelは、ランダムフォレスト分類器が生成するランダムな分割を用いる。各木が1つの分割を定義し、2点が同じリーフにある木の割合がカーネルとして定義される。
• Fast Cluster Kernelは、ランダム化されたクラスタリング手順を用いる：各サンプルに対して、ランダムに選択された特徴量のサブセットが生成され、その部分空間における最近傍に基づいてデータがクラスタに分割される。
• 分割プロセスから導出される低ランク構造を活用することで、カーネル行列の近似が可能となり、反復的ソルバーにおける効率的な行列-ベクトル積が実現される。これによりO(N)の推論が可能になる。
• 近似手法は理論的分析と実験的評価を通じて検証されており、少数の分割数でも収束が保たれることを示している。

実験結果

リサーチクエスチョン

• RQ1 ランダムな分割を生成するアルゴリズム（例：ランダムフォレストやクラスタリング）から、効果的なカーネルを導出する一般フレームワークを開発できるか？
• RQ2 ランダム分割から導出されるカーネル（例：Random Forest KernelやFast Cluster Kernel）は、実世界の回帰タスクにおいて、RBFや線形カーネルを上回る性能を示すか？
• RQ3 これらの分割ベースのカーネルの構造は、カーネルマシンにおけるスケーラブルな推論を可能にし、O(N³)からO(N)の複雑度にまで低減できるか？
• RQ4 カーネル近似は予測性能をどれほど保持するのか？収束にはどの程度の分割数が必要か？

主な発見

• Random Forest KernelとFast Cluster Kernelは、UCIレポジトリの6つの実世界の回帰データセットにおいて、テスト時の対数尤度という指標で、常に標準カーネル（例：RBF、線形）を上回る性能を示した。
• 平均して、Random Forest KernelはRBFや線形カーネルよりも顕著に高いテスト対数尤度を達成しており、これは結合予測後方分布のより良いモデル化を示している。
• Fast Cluster Kernelは、分割数の増加に伴い性能が安定して向上し、約200分割で最適性能に近づく傾向を示した。
• Random Forest Kernelは、少数の木（例：m=200）でもほぼ最適性能に達するため、収束特性が優れていることが示された。
• Fast Cluster Kernelを用いたカーネルPCAはO(N)のスケーリングを示し、コンsumer PC上で1分間に約100,000件のデータを処理できた。一方、RBFはO(N³)、ランダムフォレストはO(N¹.⁵)のスケーリングを示した。
• 提案された近似スキームにより、ランダム分割から導出されるカーネル行列の低ランク構造を活用し、ガウス過程、SVM、カーネルPCAにおけるO(N)の推論が可能になった。