[論文レビュー] Consistency of survival tree and forest models: splitting bias and correction

Yifan Cui, Ruoqing Zhu+2 more|arXiv (Cornell University)|Jul 30, 2017

Statistical Methods and Inference参考文献 63被引用数 16

ひとこと要約

本稿は、打ち切りデータ下での生存木およびランダムフォレストモデルにおける一貫性を調査し、故障分布と打ち切り分布の依存性に起因する分割バイアスを同定する。本稿では、故障変数にのみ依存する収束速度を持つ、バイアス補正済み累積ハザード分割ルールを提案し、従来手法に比べて予測誤差を顕著に改善する。

ABSTRACT

Random survival forest and survival trees are popular models in statistics and machine learning. However, there is a lack of general understanding regarding consistency, splitting rules and influence of the censoring mechanism. In this paper, we investigate the statistical properties of existing methods from several interesting perspectives. First, we show that traditional splitting rules with censored outcomes rely on a biased estimation of the within-node failure distribution. To exactly quantify this bias, we develop a concentration bound of the within-node estimation based on non i.i.d. samples and apply it to the entire forest. Second, we analyze the entanglement between the failure and censoring distributions caused by univariate splits, and show that without correcting the bias at an internal node, survival tree and forest models can still enjoy consistency under suitable conditions. In particular, we demonstrate this property under two cases: a finite-dimensional case where the splitting variables and cutting points are chosen randomly, and a high-dimensional case where the covariates are weakly correlated. Our results can also degenerate into an independent covariate setting, which is commonly used in the random forest literature for high-dimensional sparse models. However, it may not be avoidable that the convergence rate depends on the total number of variables in the failure and censoring distributions. Third, we propose a new splitting rule that compares bias-corrected cumulative hazard functions at each internal node. We show that the rate of consistency of this new model depends only on the number of failure variables, which improves from non-bias-corrected versions. We perform simulation studies to confirm that this can substantially benefit the prediction error.

研究の動機と目的

• 打ち切り結果下での生存木およびフォレストモデルの一貫性を理解すること、特に故障分布と打ち切り分布が依存する場合に焦点を当てる。
• 従来の分割ルールが、偏ったノード内故障分布推定に依存するため生じる分割バイアスを同定・定量すること。
• 特に有限次元および高次元設定下で、このバイアスが存在する場合でも生存木およびフォレストが一貫性を保つための条件を確立すること。
• 各ノードにおけるバイアス補正済み累積ハザード関数の比較に基づき、バイアスを補正する新しい分割ルールを開発すること。
• 提案手法が、総説明変数数ではなく故障変数の数にのみ依存する収束速度を持つ一貫性を達成することを示すこと。

提案手法

• 非i.i.d.標本下でのノード内累積ハザード推定に対する集中不等式を導出する。この際、打ち切りと故障の依存性を考慮する。
• 単変量分割に起因する故障分布と打ち切り分布の混同を分析し、一貫性が達成された場合でさえもバイアスが残存する可能性を示す。
• ノード内でのバイアス補正済み累積ハザード関数 $ \widetilde{\Lambda}_{\mathcal{A}}^{\ast}(t) $ を用いた、バイアス補正済み分割ルールを提案する。これにより、打ち切り分布の影響を排除する。
• 有限次元設定（確率的分割）および高次元設定（弱相関説明変数）の2つのシナリオにおいて、新規モデルの一貫性を確立する。
• 適応的集中不等式および漸近的バウンドを用いて、新規手法の収束速度が、説明変数総数ではなく故障変数の数にのみ依存することを示す。
• シミュレーションスタディを実施し、バイアス補正済み分割ルールが従来手法に比べて予測誤差を低減することを検証する。

実験結果

リサーチクエスチョン

• RQ1 従来の生存木分割は、故障分布と打ち切り分布が依存する場合に、ノード内故障分布推定に基づくものであるが、一貫性を持つモデルを生成するか？
• RQ2 打ち切り依存性に起因する分割バイアスがあるにもかかわらず、明示的な補正がなければ、生存木およびフォレストが一貫性を保てるか？
• RQ3 特に打ち切り関連の変数を含めた説明変数総数が、生存フォレストモデルの収束速度に与える影響は何か？
• RQ4 故障信号を打ち切りの影響から分離し、一貫性を向上させるバイアス補正済み分割ルールを構築できるか？
• RQ5 提案手法は非バイアス補正バージョンに比べて収束速度が速くなり、予測誤差の低減に繋がるか？

主な発見

• 生存木およびフォレストにおける従来の分割ルールは、故障分布と打ち切り分布が依存する場合に、ノード内故障分布推定に系統的なバイアスを生じる。
• 適切な条件下（有限次元では確率的分割、高次元では弱相関）では、補正なしでも生存木およびフォレストは一貫性を達成できる。
• 標準的手法の収束速度は、故障および打ち切りメカニズムに関与する変数総数に依存するため、最適でない可能性がある。
• 提案されたバイアス補正済み分割ルール（$ \widetilde{\Lambda}_{\mathcal{A}}^{\ast}(t) $ を用いる）は、故障変数の数にのみ依存する収束速度で一貫性を達成する。
• シミュレーションスタディにより、バイアス補正済み手法が従来の生存フォレストモデルに比べて予測誤差を顕著に低減することが確認された。
• 理論的分析により、新規手法の一貫性は打ち切り依存性に対して頑健であり、有限次元および高次元設定の両方で収束速度が向上することが示された。