[論文レビュー] (f)RFCDE: Random Forests for Conditional Density Estimation and Functional Data

Taylor Pospisil, Ann B. Lee|arXiv (Cornell University)|Jun 17, 2019

Statistical Methods and Inference参考文献 6被引用数 6

ひとこと要約

本稿では、条件付き密度推定（CDE）および関数データに対して最適化されたランダムフォレスト手法である(f)RFCDEを紹介する。標準の回帰フォレストとは異なり、木の分割基準をCDEに特化した損失関数を最小化するように変更することで、特に多峰性や異分散性の高い設定、および高分解能の関数的予測変数を伴う状況において、精度と計算効率の両方が向上する。

ABSTRACT

Random forests is a common non-parametric regression technique which performs well for mixed-type unordered data and irrelevant features, while being robust to monotonic variable transformations. Standard random forests, however, do not efficiently handle functional data and runs into a curse-of dimensionality when presented with high-resolution curves and surfaces. Furthermore, in settings with heteroskedasticity or multimodality, a regression point estimate with standard errors do not fully capture the uncertainty in our predictions. A more informative quantity is the conditional density p(y | x) which describes the full extent of the uncertainty in the response y given covariates x. In this paper we show how random forests can be efficiently leveraged for conditional density estimation, functional covariates, and multiple responses without increasing computational complexity. We provide open-source software for all procedures with R and Python versions that call a common C++ library.

研究の動機と目的

• 標準のランダムフォレストが、特に異分散性や多峰性の下で、完全な条件付き密度推定に限界を示す問題に対処する。
• 関数的予測変数を高次元ベクトルとして扱うのではなく、曲線や曲面の定義域に合わせた分割を採用することで、関数データにおける次元の呪いを克服する。
• 点予測を超えて、複数の応答変数の同時条件付き密度推定を可能にする。
• 密度推定に特化した新しい損失関数を用いることで、推定精度を向上させつつ、計算効率を維持する。
• 実用的な応用に即応できるスケーラブルでオープンソースの実装を提供し、RおよびPythonインターフェースを備える。

提案手法

• 標準のランダムフォレストの分割基準を、CDEに特化した$L^2$損失関数$L(p,\widehat{p}) = \mathbb{E}_X[\int \widehat{p}^2(y|X) dy] - 2\mathbb{E}_{X,Y}[\widehat{p}(Y|X)] + C_p$ で最小化するように変更し、応答変数の分布全体を考慮する。
• 木ベースの重み付けを用いる：$w_i(x^*, \theta_t) = \mathbbm{1}[X_i \in R(x^*, \theta_t)] / \sum_i \mathbbm{1}[X_i \in R(x^*, \theta_t)]$ で、$T$本の木にわたって重みを平均化し、最終的な重み$w_i(x^*)$を形成する。
• 重み付きカーネル密度推定により条件付き密度を推定する：$\widehat{p}(y|x^*) = \frac{1}{\sum_i w_i(x^*)} \sum_i w_i(x^*) K_h(Y_i - y)$。バンド幅はプラグイン法または交差検証により選択する。
• 関数データの場合は、パラメータ$\lambda$のポアソン過程を用いて関数的定義域を分割し、各区間における関数の平均値を木の入力として使用する。
• 各グリッド点を個別の特徴量として扱うのではなく、区間ごとに関数値を集約することで次元削減を図り、計算効率を向上させる。
• RおよびPythonのラッパーを備えた共有C++ライブラリを活用し、高いパフォーマンスと広範な利用可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 分割基準を密度損失に特化させることで、ランダムフォレストを条件付き密度推定に効果的に適応できるか？
• RQ2 提案されたCDE最適化損失関数は、標準の回帰損失関数と比較して、多峰性や異分散性のある応答分布をどれほど正確に捉えられるか？
• RQ3 関数的予測変数を定義域の分割に基づいてモデル化することで、高次元ベクトルとして扱う場合と比較して、性能向上と計算コスト削減がどの程度達成できるか？
• RQ4 解釈可能性とスケーラビリティを維持したまま、複数の応答変数の同時条件付き密度推定が可能か？
• RQ5 CDE損失と計算時間の観点から、(f)RFCDEはquantileRegressionForests や trtf といった既存手法と比較してどの程度優れているか？

主な発見

• (f)RFCDEは、多峰性や異分散性の高い応答を持つ設定において、標準の回帰フォレストよりも顕著に低いCDE損失を達成する。
• SDSSの関数的分光データでは、関数的RFCDEがCDE損失-29.623（SE: 0.844）を達成した一方で、ベクトルベースのベースラインは-12.578（SE: 0.418）であった。
• 関数的RFCDEモデルは、12.62秒という訓練時間で、ベクトルベースモデル（21.31秒）よりも高速であった。これは、有効次元の低減と分割探索回数の削減に起因する。
• 弱いレンズ効果パラメータ推定の事後分布において、複雑なリッジ構造を効果的に捉え、点推定手法に比べて不確実性の定量化が優れている。
• RおよびPythonインターフェースを備えたオープンソースのRFCDEパッケージにより、完全な不確実性定量化を伴う、複雑なデータタイプのスケーラブルかつ解釈可能なモデリングが可能になった。
• CDE最適化損失関数により、標準の回帰損失関数が見逃しがちな分布のシフトや非線形依存関係の検出が可能になった。