[論文レビュー] Handling Missing Data in Decision Trees: A Probabilistic Approach

Pasha Khosravi, Antonio Vergari+3 more|arXiv (Cornell University)|Jun 29, 2020

Bayesian Modeling and Causal Inference参考文献 20被引用数 15

ひとこと要約

本稿では、決定木における欠損データを扱うための確率的フレームワークを提案する。トレーサブルな密度推定器を用いて、運用時における期待予測を計算し、学習時における期待損失最小化を実現する。確率的推論を活用して欠損値を暗黙的に補完し、木のパラメータを最適化することで、特に高い欠損率下で、標準的な補完法やXGBoostのデフォルトの木処理手法を上回る性能を発揮する。

ABSTRACT

Decision trees are a popular family of models due to their attractive properties such as interpretability and ability to handle heterogeneous data. Concurrently, missing data is a prevalent occurrence that hinders performance of machine learning models. As such, handling missing data in decision trees is a well studied problem. In this paper, we tackle this problem by taking a probabilistic approach. At deployment time, we use tractable density estimators to compute the "expected prediction" of our models. At learning time, we fine-tune parameters of already learned trees by minimizing their "expected prediction loss" w.r.t.\ our density estimators. We provide brief experiments showcasing effectiveness of our methods compared to few baselines.

研究の動機と目的

• 欠損データがモデル性能を著しく低下させるという課題に取り組む。決定木はその性質上、このような状況にもかかわらず、しばしば性能を発揮するが、実際にはその恩恵が限定的である。
• 木の構造学習と連携された特徴量の同時分布モデリングを分離することで、欠損値のより柔軟かつ原理的（理論的根拠のある）な取り扱いを可能にする。
• トレーサブルな密度推定器を用いて、欠損データのすべての可能な補完を統合することで、運用時における期待予測を計算し、運用時のモデルのロバスト性を向上させる。
• 学習時における性能を向上させるために、ヒューリスティックな補完に頼るのではなく、欠損データ下での期待損失最小化により、木のパラメータを最適化する。
• 異なる木アルゴリズムや欠損メカニズムに適応可能な統一的かつ確率的原理に基づいた手法を提供する。

提案手法

• 入力特徴量の同時分布 $ p(\textbf{X}) $ をモデリングするために、トレーサブルな確率的回路（PCs）を用いる。これにより、効率的な周辺化推論が可能になる。
• 運用時、欠損特徴量のすべての可能な補完について重み付けされた期待予測を、$ p(\textbf{X}) $ に基づく尤度で統合して計算する。
• 学習時、観測データのみではなく、完全な分布上での期待予測損失（例：MSE）を最小化することで、木のパラメータを再訓練する。
• 期待損失下での最適なリーフパラメータに対して閉形式の解を導出することで、事前学習済みの木（例：XGBoostのもの）の効率的ファインチューニングを可能にする。
• 木の構造の導出と分布学習を分離することで、任意の既存の木やフォレストに対して後から適用可能となる。
• 実験では、MCAR（完全に無作為に欠損する）仮定を用い、制御された欠損状況下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 運用時のみに欠損データが発生する状況において、確率的推論に基づく期待予測が、決定木の性能を向上させることができるか？
• RQ2 学習時および推論時の両方で欠損値が存在する状況において、学習時における期待損失最小化が、決定木のロバスト性を向上させることができるか？
• RQ3 さまざまな欠損率下で、標準的な補完手法（例：中央値補完）やデフォルトの木処理（例：XGBoostのデフォルトの分岐）と比較して、本手法はどのように性能を発揮するか？
• RQ4 学習時と運用時の欠損メカニズムが異なる場合、本手法は性能を維持または向上させるか？
• RQ5 本フレームワークは、理論的整合性保証を伴う構造的木の誘導をサポートするために拡張可能か？

主な発見

• 運用時のみに欠損データが発生する状況では、期待予測がXGBoostのデフォルト処理や中央値補完を著しく上回り、特に高い欠損率（例：π = 0.9）下で顕著な優位性を示す。
• 学習時および運用時両方で欠損データが存在する場合、期待予測はXGBoostのネイティブ処理と40％までの欠損率で同等の性能を示すが、期待損失ファインチューニングに劣ることがある。
• 期待損失最小化により顕著な性能向上が得られ、特に学習時に欠損が存在する場合には、期待損失を用いた再訓練が一般化性能を向上させることを示している。
• 中央値補完手法に対する本手法の優位性は、特徴量間の依存関係をモデル化できる点に起因する。中央値補完は特徴量間の独立性を仮定しているのに対し、本手法はその仮定を緩和する。
• 期待損失によるファインチューニングにより、XGBoostの木のRMSEが標準学習より改善され、木構造が固定された後でも確率的再訓練の価値が示された。
• 本フレームワークは木構造に依存せず、既存のモデルに対して後から適用可能であり、再学習を完全に再開することなくロバスト性を実現できる。