[論文レビュー] Getting Better from Worse: Augmented Bagging and a Cautionary Tale of Variable Importance

Lucas Mentch, Siyu Zhou|arXiv (Cornell University)|Mar 7, 2020

Gaussian Processes and Bayesian Inference参考文献 51被引用数 16

ひとこと要約

この論文では、条件付き独立なノイズ特徴量を元の特徴空間に追加することで予測精度を向上させる、新しいバギングの変種であるAugBaggを紹介する。驚くべきことに、この単純な拡張は最適にチューニングされたランダムフォレストを上回ることが多く、変数重要度に関する従来の常識に疑問を呈し、ノイズ特徴量がモデルの性能を向上させることを示唆している。これにより、予測寄与度に基づく標準的な重要度指標の信頼性が揺るがされる。

ABSTRACT

As the size, complexity, and availability of data continues to grow, scientists are increasingly relying upon black-box learning algorithms that can often provide accurate predictions with minimal a priori model specifications. Tools like random forests have an established track record of off-the-shelf success and even offer various strategies for analyzing the underlying relationships among variables. Here, motivated by recent insights into random forest behavior, we introduce the simple idea of augmented bagging (AugBagg), a procedure that operates in an identical fashion to classical bagging and random forests, but which operates on a larger, augmented space containing additional randomly generated noise features. Surprisingly, we demonstrate that this simple act of including extra noise variables in the model can lead to dramatic improvements in out-of-sample predictive accuracy, sometimes outperforming even an optimally tuned traditional random forest. As a result, intuitive notions of variable importance based on improved model accuracy may be deeply flawed, as even purely random noise can routinely register as statistically significant. Numerous demonstrations on both real and synthetic data are provided along with a proposed solution.

研究の動機と目的

• 訓練データにノイズ特徴量を追加することで、バギングおよびランダムフォレストモデルにおける予測性能が向上するかどうかを調査すること。
• 特にノイズ特徴量が顕著に重要であるとされる場合に、予測寄与度に基づく変数重要度測定の妥当性を疑うこと。
• 特徴空間の明示的拡張を通じてモデル精度を向上させる、正則化にインspiredされた新しい手法AugBaggを提案すること。
• 予測モデリングの文脈において、信号のみの特徴量が最適であるという従来の仮定が誤っている可能性があることを示すこと。

提案手法

• AugBaggは、モデル適合の前に、元の特徴空間に独立したノイズ特徴量の集合を追加することで、古典的バギングを拡張する。
• ノイズ特徴量は応答変数に対して条件付き独立であり、真の予測信号を含まない。
• 標準的なブートストラップリサンプリングとアンサンブル平均化を用いるが、これはバギングおよびランダムフォレストと同一であり、拡張された特徴セット上で実行される。
• 複数の実データおよび合成データセット（信号対ノイズ比が異なるもの）を用いて、オーバーオールの予測精度を評価する。
• 変数重要度は、特定の特徴量を含む・含まないモデルを比較するパーミュテーションベースの手法で評価する。
• 相対的な性能を評価するために、最適なハイパーパrameterチューニングを施した標準的なランダムフォレストと比較する。

実験結果

リサーチクエスチョン

• RQ1 条件付き独立なノイズ特徴量の追加が、バギングおよびランダムフォレストモデルにおけるオーバーオールの予測精度を顕著に向上させる可能性があるか？
• RQ2 ノイズ特徴量が標準的な変数重要度測定法で「重要」として評価される程度はどの程度か？ そして、このような測定法の信頼性が損なわれるか？
• RQ3 ノイズ拡張による性能向上は、元のデータの信号対ノイズ比に依存するか？
• RQ4 多様なデータセットにおいて、AugBaggは最適にチューニングされたランダムフォレストと比較して、予測精度で優れているか？
• RQ5 観察された性能向上は、暗黙の正則化に起因するものであり得るか？ もしそうなら、リッジ回帰などの明示的正則化手法と比較してどのように異なるか？

主な発見

• AugBaggは複数のデータセットで一貫してオーバーオールの予測精度を向上させ、最適にチューニングされたランダムフォレストを上回ることもしばしばある。
• 性能向上は信号対ノイズ比が低い状況で顕著であり、この場合ノイズ特徴量がモデル学習の安定化に寄与する。
• 完全にランダムなノイズ特徴量ですら、応答変数との因果的・予測的関係が全くないにもかかわらず、標準的な変数重要度測定法で非常に重要度が高いと評価されることがある。
• 相関のあるノイズ特徴量の追加は、信号対ノイズ比が高い状況でも性能をさらに向上させ、より広範な正則化効果を示唆している。
• 予測寄与度に基づく標準的な変数重要度測定法は根本的に欠陥を抱えており、ノイズ特徴量が精度を向上させる場合に、信号とノイズを区別できない。
• 結果から、『予測寄与度』は特徴量の本質的必要性の妥当な代理指標ではないことが示唆され、ノックオフスのような手法を用いることで、特徴量重要度の適切な評価が可能になる可能性がある。