[論文レビュー] Enhancing Robustness of Gradient-Boosted Decision Trees through One-Hot Encoding and Regularization

Shijie Cui, Agus Sudjianto+2 more|arXiv (Cornell University)|Apr 26, 2023

Advanced Statistical Methods and Models被引用数 9

ひとこと要約

論文は GBDT を leaves のワンホット表現を介して線形モデルに変換し、 covariate 擾乱に対する頑健性を向上させるために L1/L2 正則化で再適合させ、理論と実験で裏付けを行う。

ABSTRACT

Gradient-boosted decision trees (GBDT) are widely used and highly effective machine learning approach for tabular data modeling. However, their complex structure may lead to low robustness against small covariate perturbation in unseen data. In this study, we apply one-hot encoding to convert a GBDT model into a linear framework, through encoding of each tree leaf to one dummy variable. This allows for the use of linear regression techniques, plus a novel risk decomposition for assessing the robustness of a GBDT model against covariate perturbations. We propose to enhance the robustness of GBDT models by refitting their linear regression forms with $L_1$ or $L_2$ regularization. Theoretical results are obtained about the effect of regularization on the model performance and robustness. It is demonstrated through numerical experiments that the proposed regularization approach can enhance the robustness of the one-hot-encoded GBDT models.

研究の動機と目的

• GBDT の頑健性評価を動機づけ、共変量摂動に対する脆弱性を特定する。
• GBDT を線形モデルとして表現するワンホットエンコーディングフレームワーク（GBDT OHE）を導入する。
• 頑健性を改善するために、ワンホットエンコード形に対して正則化付き再適合（L1/L2）を提案する。
• GBDT における摂動を分析し頑健性を定量化するリスク分解ツールを開発する。
• 正則化を用いた頑健性の向上を示す理論結果と数値的証拠を提供する。

提案手法

• GBDT を木の葉をダミー変数としてワンホットエンコードすることにより線形モデルとして表現する（GBDT OHE）。
• F_M(x) を F_M(x)=sum_k b_k phi_k(x) = Phi(x)^T beta と表現し、線形回归モデルの適用を可能にする。
• リスクをバイアス、分散、摂動成分に分解する摂動項 Delta Phi を導入する。
• OHE 後の葉係数を再適合させる際に、ハイディメンショナルな分散を抑えるために L1（Lasso）または L2（Ridge）正則化を適用する。
• 頑健回帰と正則化の下での頑健性の利点を示す理論的結びつきを提供する（定理 1）。
• 実データセット（Airfoil、CHP など）上で XGBoost ベースラインと OHE + 正則化を比較する数値実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 未知データの小さな摂動に対して従来の GBDT はどれだけ頑健か。
• RQ2 GBDT の葉のワンホットエンコディングは頑健性を分析する線形フレームワークを可能にするか。
• RQ3 葉のワンホットエンコードされた GBDT を L1 または L2 正則化で再適合させると、性能を大きく損なうことなく頑健性は向上するか。
• RQ4 正則化の大きさが GBDT OHE のバイアス、分散、摂動項に与える影響はどのようか。
• RQ5 正則化された GBDT OHE は共変量摂動下で標準的な XGBoost よりも頑健性が高いか。

主な発見

Model	Airfoil(0%)	Airfoil(2%)	Airfoil(5%)	CHP(0%)	CHP(2%)	CHP(5%)	BS(0%)	BS(5%)	BS(10%)
XGB	0.032/0	0.074/0.046	0.156/0.134	0.154/0	0.202/0.058	0.324/0.180	0.159/0	0.215/0.059	0.349/0.198
XGB_reg	0.033/0	0.071/0.039	0.153/0.124	0.155/0	0.201/0.053	0.316/0.168	0.160/0	0.212/0.057	0.343/0.196
OHE_Ridge_s	0.020/0	0.053/0.032	0.120/0.099	0.151/0	0.199/0.057	0.318/0.173	0.158/0	0.212/0.057	0.345/0.197
OHE_Ridge_m	0.021/0	0.052/0.029	0.119/0.092	0.155/0	0.194/0.039	0.295/0.131	0.155/0	0.194/0.039	0.343/0.187
OHE_Ridge_l	0.029/0	0.054/0.025	0.117/0.083	0.170/0	0.201/0.028	0.287/0.102	0.161/0	0.213/0.051	0.342/0.181
OHE_Lasso_s	0.022/0	0.058/0.036	0.125/0.100	0.151/0	0.205/0.062	0.331/0.186	0.159/0	0.213/0.059	0.349/0.200
OHE_Lasso_m	0.025/0	0.055/0.033	0.121/0.098	0.153/0	0.201/0.053	0.317/0.164	0.158/0	0.212/0.056	0.346/0.196
OHE_Lasso_l	0.026/0	0.056/0.031	0.120/0.096	0.179/0	0.211/0.039	0.305/0.125	0.159/0	0.213/0.055	0.346/0.193

• GBDT モデルはブースティングの複雑さが増すにつれて頑健性が低下しうることが、摂動に対するリスク分解で示される。
• GBDT 葉のワンホットエンコーディングは線形表現（GBDT OHE）を生み出し、新しい頑健性リスク分解を可能にする。
• L1 または L2 のペナルティで再適合した線形形を正則化すると、摂動項を低減し頑健性を改善できるが、バイアス/分散のトレードオフが生じる。
• 数値結果は、摂動なしの場合に小さな正則化を施した GBDT OHE が基線性能と同等または向上し、摂動下で頑健性を改善することを示す。
• より大きな正則化は摂動効果を低減し、見えないデータの大きな摂動に対する頑健性を高める傾向があるが、バイアスが高まる可能性がある。
• 比較対象としての正則化済み XGBoost ベースライン（XGB_reg）と比べ、摂動下での頑健性は通常 GBDT OHE + 正則化の方が良い。