[論文レビュー] A Numerical Transform of Random Forest Regressors corrects Systematically-Biased Predictions

Shipra Malhotra, John Karanicolas|arXiv (Cornell University)|Mar 16, 2020

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

この論文は、ノイズが存在しない状況においても、多様な実世界および合成データセットにおいて予測を歪める体系的バイアスをランダムフォレスト回帰器に特定した。著者らは、トレーニングデータを用いた数値変換を提案し、このバイアスを是正する。この手法は、評価されたすべてのデータセットで予測精度を顕著に向上させ、モデルの信頼性を向上させるが、根本的なランダムフォレストアーキテクチャを変更しない、堅牢でデータ駆動型の是正手法であることを示している。

ABSTRACT

Over the past decade, random forest models have become widely used as a robust method for high-dimensional data regression tasks. In part, the popularity of these models arises from the fact that they require little hyperparameter tuning and are not very susceptible to overfitting. Random forest regression models are comprised of an ensemble of decision trees that independently predict the value of a (continuous) dependent variable; predictions from each of the trees are ultimately averaged to yield an overall predicted value from the forest. Using a suite of representative real-world datasets, we find a systematic bias in predictions from random forest models. We find that this bias is recapitulated in simple synthetic datasets, regardless of whether or not they include irreducible error (noise) in the data, but that models employing boosting do not exhibit this bias. Here we demonstrate the basis for this problem, and we use the training data to define a numerical transformation that fully corrects it. Application of this transformation yields improved predictions in every one of the real-world and synthetic datasets evaluated in our study.

研究の動機と目的

• 多様なデータセットにおけるランダムフォレスト回帰モデルの体系的バイアスの存在と性質を調査すること。
• このバイアスが、不確実性のない合成データセットにおいても持続するかどうかを特定すること。
• ランダムフォレスト予測におけるバイアスの根本的要因を特定し、ブースティングなどの他のアンサンブル手法と区別すること。
• トレーニングデータのみを用いて、一般化可能なデータ駆動型の数値変換を考案すること。
• この変換が、複数の実世界および合成回帰タスクにおいて有効であることを検証すること。

提案手法

• 著者らは、複数の実世界および合成データセットにおけるランダムフォレスト回帰器の予測誤差を分析し、体系的バイアスのパターンを検出する。
• トレーニングデータと予測値の経験的累積分布に基づいて、バイアスを是正する数値変換を導出する。
• 変換はトレーニング中に学習され、分位数ベースのキャリブレーションを用いて予測値を補正スケールにマッピングすることで実現される。
• 再トレーニングやアーキテクチャの変更を必要とせず、トレーニングデータ分布を用いて予測値に事後是正を適用する。
• 変換はすべてのデータポイントに一様に適用され、予測範囲全体にわたって一貫した是正が保証される。
• 多様な回帰タスクにおける真値との比較によって、アプローチの有効性が検証される。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレスト回帰は、ノイズが存在しない実世界および合成データセットにおいても体系的バイアスを示すか？
• RQ2 ブースティングベースのモデルと比較して、ランダムフォレストにおけるバイアスはどのように異なるか？（後者は同様のバイアスを示さない。）
• RQ3 ランダムフォレスト回帰器における体系的予測バイアスの根本的要因は何か？
• RQ4 再トレーニングやモデルの変更なしに、データ駆動型の事後数値変換がこのバイアスを効果的に是正できるか？
• RQ5 提案された変換は、多様な回帰タスクにおいて予測精度をどの程度向上させるか？

主な発見

• ランダムフォレスト回帰器は、ノイズレベルに関係なく、テストされたすべての実世界および合成データセットで一貫して体系的バイアスを生じる。
• 勾配ブースティングモデルではバイアスが認められないことから、このバイアスはランダムフォレストアンサンブルメカニズム特有のものであることが示された。
• 提案された数値変換はバイアスを完全に是正し、評価されたすべてのデータセットで顕著に予測精度が向上した。
• 複雑な特徴相互作用を伴う高次元回帰タスクにおいても、この是正は有効であった。
• 変換は一般化可能であり、モデルの再トレーニングやハイパーパramータの調整を必要としなかった。
• 生物学的、環境的、工学的データを含む多様なデータタイプにおいて、一貫した性能向上が達成された。