[論文レビュー] Subgroup Robustness Grows On Trees: An Empirical Baseline Investigation

Josh Gardner, Zoran Popović+1 more|arXiv (Cornell University)|Nov 23, 2022

Ethics and Social Impacts of AI被引用数 5

ひとこと要約

本稿では、最先端の木構造モデルと比較して、表形式機械学習におけるサブグループのロバストネスを実証的に調査する。明示的なロバストネスの目的を持たないにもかかわらず、XGBoost や LightGBM などの木のアンサンブルは、8つのデータセットすべてで、特化した公平性やロバストネス手法よりも、競争的または優れた最悪グループの精度を達成しており、ハイパーパrameterチューニングや計算コストがはるかに少ない。

ABSTRACT

Researchers have proposed many methods for fair and robust machine learning, but comprehensive empirical evaluation of their subgroup robustness is lacking. In this work, we address this gap in the context of tabular data, where sensitive subgroups are clearly-defined, real-world fairness problems abound, and prior works often do not compare to state-of-the-art tree-based models as baselines. We conduct an empirical comparison of several previously-proposed methods for fair and robust learning alongside state-of-the-art tree-based methods and other baselines. Via experiments with more than $340{,}000$ model configurations on eight datasets, we show that tree-based methods have strong subgroup robustness, even when compared to robustness- and fairness-enhancing methods. Moreover, the best tree-based models tend to show good performance over a range of metrics, while robust or group-fair models can show brittleness, with significant performance differences across different metrics for a fixed model. We also demonstrate that tree-based models show less sensitivity to hyperparameter configurations, and are less costly to train. Our work suggests that tree-based ensemble models make an effective baseline for tabular data, and are a sensible default when subgroup robustness is desired. For associated code and detailed results, see https://github.com/jpgard/subgroup-robustness-grows-on-trees .

研究の動機と目的

• 表形式データにおけるサブグループのロバストネスの包括的で実証的な評価の不足に応えるために、特に公平性およびロバストネス手法を強力なベースラインと比較すること。
• ロバストネスの文献でしばしば無視されがちな、木構造モデルがサブグループのロバストネスのための有効なベースラインとして機能できるかどうかを評価すること。
• ロバストネスおよび公平性手法がハイパーパrameter設定や訓練コストにどれほど敏感であるかを分析すること。
• 広範なハイパーパrameterスイープを用いて、多様なモデルとデータセットにおけるサブグループのロバストネスのパフォーマンスフロンティアを確立すること。
• 木構造モデルが最小限のチューニングで高い最悪グループの精度を達成できることを示し、それがデフォルトのベースラインとしての有用性を示唆すること。

提案手法

• 8つの表形式データセットを用いて、34万件を超えるモデル設定を含む大規模な実証的調査を実施。
• 公平性に配慮した手法（例：DRO、Group DRO、インプロセッシング）、ロバストネス手法（例：DORO、MWLD）、および木構造モデル（XGBoost、LightGBM、ランダムフォレスト）を含む17種類のモデルクラスを評価。
• モデル間の全体の精度と最悪グループの精度のトレードオフを可視化するために、パフォーマンスフロンティア曲線を用いた。
• ハイパーパrameter感度分析を実施し、異なる設定下でのモデルの安定性を評価。
• 標準的な指標（全体の精度と最悪グループの精度）を用いて結果を報告し、モデル固有のハイパーパrameterチューニングを実施。
• デフォルトのハイパーパrameterを用いたパフォーマンスを収集・報告し、出荷時からのロバストネスを評価。

実験結果

リサーチクエスチョン

• RQ1 木構造モデルは、表形式データにおいて、最先端の公平性およびロバストネス手法と同等またはそれ以上のサブグループのロバストネスを達成するか？
• RQ2 公平性およびロバストネス手法は、木構造モデルと比較してハイパーパrameterの選択にどれほど敏感か？
• RQ3 ロバストネスおよび公平性を向上させるモデルと、木構造ベースラインとの間で、計算コストおよび訓練効率に差は生じるか？
• RQ4 木構造モデルは、表形式機械学習におけるサブグループのロバストネスのための強力で安定的かつ効率的なベースラインとして機能できるか？
• RQ5 複数のデータセットにわたり、木構造モデルのパフォーマンスフロンティアは、特化したロバストネスおよび公平性手法と比較してどうなるか？

主な発見

• XGBoost や LightGBM などの木構造モデルは、すべての8つのデータセットで、Group DRO や DORO などの特化した公平性およびロバストネス手法と同等またはそれ以上の最悪グループの精度を達成している。
• XGBoost は LARC データセットで最悪グループの精度が最も高く（0.728）、収入データセットでは全体の精度でも2番目に高い（0.824）を記録し、チューニング済みの DRO や DORO の変種をも上回った。
• 公平性およびロバストネス手法と比較して、木構造モデルははるかに低いハイパーパrameter感度を示し、効果的なチューニングに必要なイテレーション数も少なかった。
• 最良の木構造モデルは、複数の指標で優れたパフォーマンスを達成したが、一方で公平性およびロバストネスモデルは、指標間で大きなパフォーマンス差を示す脆弱性をよく見せた。
• 木構造モデルは計算コストが低く、CPU負荷などの訓練条件の変化に対しても感受性が低く、小さな German データセットでもわずかなパフォーマンス低下しか観測されなかった。
• デフォルトのハイパーパラメータでも、XGBoost や LightGBM などの木構造モデルは高い最悪グループの精度（例：Adult で 0.735、LARC で 0.728）を達成しており、優れた出荷時ロバストネスを示した。