[論文レビュー] Hierarchical Shrinkage: improving the accuracy and interpretability of tree-based methods

Abhineet Agarwal, Yan Shuo Tan+3 more|arXiv (Cornell University)|Feb 2, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

この論文は、木構造モデルの予測値を親ノードの平均に収縮させるpost-hoc正則化手法である階層的収縮（HS）を導入する。この手法は1つの正則化パラメータを用いて、木構造を変更せずに予測精度と解釈可能性を向上させる。HSは回帰および分類タスクにおける予測性能を向上させ、SHAP値の安定性を高め、意思決定境界を滑らかにするが、木構造自体は変更しない。多様なデータセットにおいてベースラインモデルを上回る性能を示し、計算コストも低く抑えられる。

ABSTRACT

Tree-based models such as decision trees and random forests (RF) are a cornerstone of modern machine-learning practice. To mitigate overfitting, trees are typically regularized by a variety of techniques that modify their structure (e.g. pruning). We introduce Hierarchical Shrinkage (HS), a post-hoc algorithm that does not modify the tree structure, and instead regularizes the tree by shrinking the prediction over each node towards the sample means of its ancestors. The amount of shrinkage is controlled by a single regularization parameter and the number of data points in each ancestor. Since HS is a post-hoc method, it is extremely fast, compatible with any tree growing algorithm, and can be used synergistically with other regularization techniques. Extensive experiments over a wide variety of real-world datasets show that HS substantially increases the predictive performance of decision trees, even when used in conjunction with other regularization techniques. Moreover, we find that applying HS to each tree in an RF often improves accuracy, as well as its interpretability by simplifying and stabilizing its decision boundaries and SHAP values. We further explain the success of HS in improving prediction performance by showing its equivalence to ridge regression on a (supervised) basis constructed of decision stumps associated with the internal nodes of a tree. All code and models are released in a full-fledged package available on Github (github.com/csinva/imodels)

研究の動機と目的

• 木構造モデルの過学習および不安定性、特に少数サンプル領域における問題を解消するため、木構造を変更しない新しい正則化手法を導入すること。
• 階層的収縮による予測値の収縮を通じて、ランダムフォレストの意思決定境界とSHAP値の安定性を高め、解釈可能性を向上させること。
• CART、C4.5、最適木を含む、任意の木成長アルゴリズムに適用可能な高速で中立的かつ互換性のある正則化手法を提供すること。
• 階層的収縮が、木ノードから導出される意思決定スティンプの基底上でのリッジ回帰を近似することで一般化誤差を低減することを示すこと。
• 予測性能の向上が小さい場合でも、特に高次元またはノイズの多い環境において、HSがモデルの頑健性と解釈可能性を向上させることを示すこと。

提案手法

• HSは、各リーフの予測値を、そのリーフの平均と、すべての祖先ノードの平均の重み付き平均に置き換える。重みはサンプルサイズと正則化パラメータλに依存する。
• 収縮の強度は1つの正則化パラメータλで制御され、一般化交差検証を用いてバイアスと分散のバランスを最適化する。
• この手法はpost-hocに適用されるため、木構造を変更せずに事前に学習された木に対して適用可能であり、任意の木アルゴリズムと互換性を持つ。
• HSは、各内部ノードにおける意思決定スティンプから構成される監視付き基底上でのリッジ回帰と数学的に同等であるため、既存の正則化理論と関連づけられる。
• アルゴリズムはimodelsライブラリ内にsklearn互換のパッケージとして実装されており、既存のMLパイプラインへのシームレスな統合を可能にしている。
• ランダムフォレストの個々の木にこのアプローチを適用することで、特徴量重要度とSHAP値の安定性が向上し、精度と解釈可能性が両方向上する。

実験結果

リサーチクエスチョン

• RQ1 ノードの予測値を親ノードの平均にpost-hocで収縮させることで、意思決定木およびランダムフォレストの一般化性能を向上させることができるか？
• RQ2 階層的収縮はSHAP値および意思決定境界を安定化させ、モデルの解釈可能性を向上させるか？
• RQ3 予測精度と頑健性の観点から、HSは従来の正則化手法（例：刈り込みや早期停止）と比較してどのように異なるか？
• RQ4 HSは、共変量シフトやデータの摂動が生じる状況下で、どの程度モデル性能を向上させるか？
• RQ5 HSは木成長アルゴリズムの種類に依存せず、構造を変更せずに普遍的に適用可能か？

主な発見

• HSは、実世界の多様なデータセットにおいて一貫して予測性能を向上させ、回帰および分類タスクで顕著な向上を示す。他の正則化手法と組み合わせて使用しても効果を発揮する。
• ランダムフォレストの各木にHSを適用することで、予測精度とSHAP値の安定性が向上し、乳癌データセットにおける100回のランダムな訓練・テスト分割において、SHAP値の分散が低減された。
• HSは各特徴量のSHAP値をより凝集させ、異質性が低下し、一貫した特徴量寄与度が得られ、解釈が容易になる。
• この手法は、特に高次元設定において滑らかで安定した意思決定境界を生成し、データ摂動に対するモデルの頑健性を向上させる。
• HSは計算が効率的で、グリーディー法、動的計画法、最適化ベースの方法を含む、任意の木ベースモデルと互換性を持つ。
• 心臓病、糖尿病、イオンオスコープなどのデータセットでは、予測性能の向上が小さい場合でも、HSはSHAP値の安定性を顕著に向上させ、解釈可能性の向上を示している。