[論文レビュー] Splitting matters: how monotone transformation of predictor variables may improve the predictions of decision tree models

Tal Galili, Isaac Meilijson|arXiv (Cornell University)|Nov 14, 2016

Machine Learning and Data Classification被引用数 3

ひとこと要約

この論文は、予測子の単調変換に対して決定木モデルが不変であるという一般的な信念に挑戦し、分割点付近の補間誤差を中点補間法または分位数変換を用いることで低減できることを示している。特に、学習データとテストデータの分布が異なる場合、予測子をその累積分布関数（CDF）で変換することで、補間誤差を最大50％まで削減できることを実証している。

ABSTRACT

It is widely believed that the prediction accuracy of decision tree models is invariant under any strictly monotone transformation of the individual predictor variables. However, this statement may be false when predicting new observations with values that were not seen in the training-set and are close to the location of the split point of a tree rule. The sensitivity of the prediction error to the split point interpolation is high when the split point of the tree is estimated based on very few observations, reaching 9% misclassification error when only 10 observations are used for constructing a split, and shrinking to 1% when relying on 100 observations. This study compares the performance of alternative methods for split point interpolation and concludes that the best choice is taking the mid-point between the two closest points to the split point of the tree. Furthermore, if the (continuous) distribution of the predictor variable is known, then using its probability integral for transforming the variable ("quantile transformation") will reduce the model's interpolation error by up to about a half on average. Accordingly, this study provides guidelines for both developers and users of decision tree models (including bagging and random forest).

研究の動機と目的

• 決定木モデルが予測子変数の単調変換に対して真に不変であるかどうかを、特に予測外補間の文脈で調査すること。
• 新しい観測値が学習データに近いが含まれない場合、分割点の補間手法が予測誤差に与える影響を分析すること。
• さまざまな学習データ条件下での補間ルール（Sweep Left、Sweep Right、中点）の有効性を評価すること。
• 予測子をその経験的または理論的CDF（確率積分変換）を用いて変換することで、補間誤差が低減するかを検討すること。
• 最適な予測子変換と補間法を用いた、決定木、ランダムフォレスト、バギングモデルの改善のための実用的ガイドラインを提供すること。

提案手法

• 3つの補間ルールを提案：Sweep Left（最小値より上に分類）、Sweep Right（最大値でのみ分類）、中点補間（分割点に最も近い2値の平均を使用）。
• 一様分布、ベータ分布、二重三角分布、正規分布の混合分布など、さまざまな分布を想定し、平均絶対誤差（MAE）の解析的およびシミュレーションベースの評価を実施して補間手法を比較。
• 真の分布が既知または推定可能であると仮定し、予測子変数を一様変量に変換する確率積分変換（すなわち、$F(X)$）を適用し、補間性能の安定化を図る。
• 真の分布が不明だがラベルなしテストデータが利用可能な状況では、経験的CDF（ECDF）を用いて半パラメトリック補正を実施。
• Rao-Blackwell化済み推定量およびスイープ推定量を含むさまざまな推定量のMAEを推定するため、$10^5$回の反復によるシミュレーションスタディを実施。
• Rコードおよび`edfun`パッケージ（経験的CDFの高速計算用）を用いて、実世界のデータ（例：weatherAUSデータセット）でも結果を検証。

実験結果

リサーチクエスチョン

• RQ1 新しい観測値が学習データに近いが含まれない場合、決定木の予測精度は分割点補間手法の選択に依存するか？
• RQ2 分割点の推定に使用する学習観測数が、特に分割境界付近で分類誤差にどのように影響するか？
• RQ3 予測子変数をその累積分布関数（CDF）で変換することで、決定木モデルにおける補間誤差を低減できるか？
• RQ4 学習データとテストデータの分布が異なる場合、中点補間ルールがSweep Left や Sweep Right に比べてどれほど性能向上をもたらすか？
• RQ5 半教師ありまたは分布外設定において、確率積分変換が予測精度をどの程度向上できるか？

主な発見

• 分割点の推定に10個の学習観測しか使えない場合、分割点付近の予測誤差は最大9％に達するが、100個の観測を使用すれば1％にまで低下する。
• 中点補間ルール（$\hat{p}_{SB} = \frac{L+R}{2}$）は、Sweep Left や Sweep Right よりも一貫して優れており、場合によってはMAEを最大50％まで低減する。
• 学習データとテストデータの分布が異なる場合（例：$X_{train} \sim BT(p)$、$X_{test} \sim U(0,1)$）、学習データのCDFを用いた確率積分変換（$F_{train}(X_{train})$）により、補間誤差が平均で半減する。
• 中点ルールの性能は頑健で、真の分布が不明な場合でも理論的ベイズ推定量を上回ることが多い。
• 半パラメトリックな設定において経験的CDF（ECDF）を用いた変換は、特にラベルなしテストデータが利用可能で分布推定が可能である場合、MAEを顕著に低減する。
• 本研究は、単調変換に対して不変であるという広く信じられている信念が、特に学習データがスパarselyまたはテストデータと不一致する場合の補間状況では誤りであることを確認した。