[論文レビュー] RFCDE: Random Forests for Conditional Density Estimation

Taylor Pospisil, Ann B. Lee|arXiv (Cornell University)|Apr 1, 2018

Statistical Methods and Inference被引用数 1

ひとこと要約

この論文は、複数の応答変数のための同時密度を含む、非パラメトリックな条件付き密度推定に最適化された新しいランダムフォレストフレームワークRFCDEを紹介する。従来のランダムフォレストを、平均値やクラスではなく、条件付き分布全体をモデル化するように拡張することで、共有C++ライブラリを介してRおよびPythonインターフェースを備えたMITライセンス下でのオープンソース実装が可能となり、不確実性の伝播と多次元応答のモデリングが可能になる。

ABSTRACT

Random forests is a common non-parametric regression technique which performs well for mixed-type data and irrelevant covariates, while being robust to monotonic variable transformations. Existing random forest implementations target regression or classification. We introduce the RFCDE package for fitting random forest models optimized for nonparametric conditional density estimation, including joint densities for multiple responses. This enables analysis of conditional probability distributions which is useful for propagating uncertainty and of joint distributions that describe relationships between multiple responses and covariates. RFCDE is released under the MIT open-source license and can be accessed at this https URL . Both R and Python versions, which call a common C++ library, are available.

研究の動機と目的

• 完全な条件付き密度関数、特に多次元応答を含む推定に特化したランダムフォレスト手法の不足を解消すること。
• 混合型データおよび不要な共変量が存在する状況でも、ランダムフォレストの長所を活かして、条件付き密度の頑健な推定を可能にすること。
• 計算効率とコードの一貫性を確保するため、RおよびPythonの両方のインターフェースを共有C++コアで統合した、統合的かつオープンソースの実装を提供すること。
• 点予測ではなく、完全な条件付き分布を推定することで、予測モデリングにおける不確実性の定量化を可能にすること。
• ランダムフォレストの応用範囲を回帰や分類の範囲を超えて、完全な分布予測にまで拡張すること。

提案手法

• RFCDE手法は、特徴空間の再帰的分割を用いて条件付き密度関数を推定する木を成長させるように、標準的なランダムフォレストアルゴリズムを変更する。
• 平均二乗誤差や分類誤差ではなく、条件付き密度推定誤差を最小化することを目的としたスプリット基準を採用する。
• 各端末ノード内で応答変数の多次元条件付き分布をモデル化することで、複数の応答変数のための同時密度推定を可能にする。
• RおよびPythonの両方の実装を支える共有C++ライブラリにより、計算効率とコードの一貫性を確保する。
• 共変量の単調変換に対して頑健であり、混合型予測子を効果的に処理できるように設計されている。
• 予測は、フォレストに属するすべての木からの密度推定を統合することで行い、各木はその端末ノード内の学習データに基づいたカーネルスムージング推定を貢献する。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストは、多次元応答を含む完全な条件付き密度関数を効果的に推定するために適切に拡張可能か？
• RQ2 標準的なランダムフォレスト回帰と比較して、RFCDEの密度推定精度はどの程度か？
• RQ3 RFCDEは、不要な共変量や特徴の単調変換に対してどの程度頑健性を保っているか？
• RQ4 非パラメトリックな設定下で、RFCDEは複数の応答変数の同時密度を信頼性高く推定できるか？
• RQ5 RFCDEのオープンソースRおよびPython実装は、実世界の応用における実用的な不確実性の定量化をどの程度支援できるか？

主な発見

• RFCDEは、点推定を超えた完全な分布予測を可能にする非パラメトリックな条件付き密度推定にランダムフォレストを成功裏に拡張した。
• この手法は、古典的なランダムフォレストの性質に一致し、不要な共変量や単調変換に対して頑健である。
• 同時密度推定がサポートされており、共変量に条件づけられた多次元応答の関係をモデリングできる。
• MITライセンス下で完全にオープンソースのパッケージとして提供されており、RおよびPythonのインターフェースが共有C++ライブラリを同期して呼び出す。
• 完全な条件付き密度推定を提供することで、予測モデリングにおける不確実性の伝播を実現できる。
• 確率的予測と多次元応答モデリングを要する応用分野への応用可能性が強く示唆されている。