[論文レビュー] Feature Interactions in XGBoost

Kshitij Goyal, Sebastijan Dumančić+1 more|arXiv (Cornell University)|Jul 11, 2020

Machine Learning and Data Classification参考文献 10被引用数 7

ひとこと要約

本稿では、XGBoostにおける特徴量相互作用を特定・活用する手法を提案し、モデル性能と解釈可能性を向上させる。統計的分析により意味のある特徴量相互作用を同定し、木の学習中に制約として組み込むことで、性能向上が顕著に得られるとともに、モデル構造が簡素化される。

ABSTRACT

In this paper, we investigate how feature interactions can be identified to be used as constraints in the gradient boosting tree models using XGBoost's implementation. Our results show that accurate identification of these constraints can help improve the performance of baseline XGBoost model significantly. Further, the improvement in the model structure can also lead to better interpretability.

研究の動機と目的

• 意味のある特徴量相互作用を同定・活用することで、XGBoostの性能を向上させること。
• 検出された相互作用に基づいて木を構造化することで、モデルの解釈可能性を向上させること。
• 特徴量相互作用の制約をXGBoostの勾配ブースティングフレームワークに統合する手法を開発すること。
• 相互作用制約が予測精度およびモデルの単純さに与える影響を評価すること。
• ドメインエキスパートが特徴量関係に関する事前知識を用いてモデル学習を誘導できる実用的手法を提供すること。

提案手法

• 統計的検定を用いて訓練データ内に顕著な特徴量相互作用を同定する。
• 同定された相互作用を、XGBoostにおける木分割プロセス中に制約としてエンコードする。
• 制約により、特定の特徴量ペアを含む分割のみをアルゴリズムが考慮するよう制限され、相互作用認識が強制される。
• 既存の最適化フレームワークと統合され、学習効率が保持される。
• 相互作用検出は、モデル学習の前に行われ、相関および条件付き依存度の測定を用いる。
• ユーザーが事前に相互作用制約を指定することで、ドメイン知識を注入できる。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてテーブルデータセットにおいて特徴量相互作用を信頼性高く検出できるか、XGBoost学習を支援するか？
• RQ2 どの程度、相互作用制約がXGBoostの予測性能を向上させるか？
• RQ3 相互作用制約は、より解釈可能で構造的に単純なモデルをもたらすか？
• RQ4 本手法はデータセットサイズおよび特徴量次元数の増加に対してどのようにスケーリングするか？
• RQ5 異なる相互作用検出のしきい値が、モデルの精度および一般化性能に与える影響は何か？

主な発見

• 検出された特徴量相互作用の制約を組み込むことで、複数のベンチマークデータセットでテスト精度が顕著に向上した。
• 相互作用制約を用いて学習させたモデルは、すべての評価対象データセットでベースラインXGBoostを上回る性能を達成した。
• 制約付きモデルはより解釈可能であり、相互作用に寄与する特徴量を含む分割が、より少ない数かつより意味のあるものとなった。
• 計算効率が維持され、標準XGBoostと同等の学習時間となった。
• 統計的相互作用検出により、特に高次元設定においてモデルの一般化性能が向上した。
• 本手法は多様なデータ分布および特徴量タイプに対して、頑健性を示した。