[논문 리뷰] Subgroup Robustness Grows On Trees: An Empirical Baseline Investigation

Josh Gardner, Zoran Popović외 1명|arXiv (Cornell University)|2022. 11. 23.

Ethics and Social Impacts of AI인용 수 5

한 줄 요약

이 논문은 표본 데이터 기반 기계학습에서 부분군에 대한 강건성에 대해 공정성 및 강건성 방법과 최신 트리 기반 모델을 실증적으로 비교함으로써 조사한다. 명시적인 강건성 목표가 없음에도 불구하고, XGBoost와 LightGBM와 같은 트리 앙상블 모델은 여덟 개의 데이터셋에서 전반적인 최악의 그룹 정확도를 경쟁력 있거나 슈퍼리어한 수준으로 달성하며, 전문화된 공정성 및 강건성 방법들을 능가한다. 이는 하이퍼파라미터 조정과 계산 비용이 훨씬 적게 든다.

ABSTRACT

Researchers have proposed many methods for fair and robust machine learning, but comprehensive empirical evaluation of their subgroup robustness is lacking. In this work, we address this gap in the context of tabular data, where sensitive subgroups are clearly-defined, real-world fairness problems abound, and prior works often do not compare to state-of-the-art tree-based models as baselines. We conduct an empirical comparison of several previously-proposed methods for fair and robust learning alongside state-of-the-art tree-based methods and other baselines. Via experiments with more than $340{,}000$ model configurations on eight datasets, we show that tree-based methods have strong subgroup robustness, even when compared to robustness- and fairness-enhancing methods. Moreover, the best tree-based models tend to show good performance over a range of metrics, while robust or group-fair models can show brittleness, with significant performance differences across different metrics for a fixed model. We also demonstrate that tree-based models show less sensitivity to hyperparameter configurations, and are less costly to train. Our work suggests that tree-based ensemble models make an effective baseline for tabular data, and are a sensible default when subgroup robustness is desired. For associated code and detailed results, see https://github.com/jpgard/subgroup-robustness-grows-on-trees .

연구 동기 및 목표

• 표본 데이터에서 부분군 강건성에 대한 종합적인 실증 평가가 부족한 점을 해결하기 위해, 특히 공정성 및 강건성 방법을 강력한 기준 모델과 비교하고자 한다.
• 강건성 문헌에서 간과되기 쉬운 트리 기반 모델이 부분군 강건성의 효과적인 기준 모델이 될 수 있는지 평가하고자 한다.
• 강건성 및 공정성 방법이 하이퍼파라미터 설정과 훈련 비용에 얼마나 민감한지 분석하고자 한다.
• 광범위한 하이퍼파라미터 스윕을 통해 다양한 모델과 데이터셋에서 부분군 강건성의 성능 경계를 설정하고자 한다.
• 트리 기반 모델이 최소한의 조정으로도 높은 최악의 그룹 정확도를 달성함으로써, 기본 기준 모델으로서의 유용성을 입증하고자 한다.

제안 방법

• 여덟 개의 표본 데이터셋에서 34만 개가 넘는 모델 구성에 대한 대규모 실증 연구를 수행하였다.
• 공정성 인식 방법(예: DRO, Group DRO, 인프로세싱), 강건성 방법(예: DORO, MWLD), 트리 기반 모델(XGBoost, LightGBM, Random Forest) 포함 총 17종의 모델 클래스를 평가하였다.
• 모델 간의 전체 정확도와 최악의 그룹 정확도 간의 트레이드오프를 시각화하기 위해 성능 경계 곡선을 사용하였다.
• 하이퍼파라미터 민감도 분 析를 통해 다양한 설정에서의 모델 안정성을 평가하였다.
• 표준 지표인 전체 정확도 및 최악의 그룹 정확도를 사용하여 결과를 보고하였으며, 모델에 특화된 하이퍼파라미터 조정을 실시하였다.
• 기본 하이퍼파라미터 설정을 활용해 성능을 수집하고 보고함으로써, 초기 설정 상태에서의 강건성을 평가하였다.

실험 결과

연구 질문

• RQ1 트리 기반 모델은 표본 데이터에서 최신 공정성 및 강건성 방법과 비교해 유사하거나 더 뛰어난 부분군 강건성을 달성하는가?
• RQ2 공정성 및 강건성 방법은 트리 기반 모델에 비해 하이퍼파라미터 선택에 얼마나 민감한가?
• RQ3 강건성 및 공정성 향상 모델과 트리 기반 기준 모델 간의 계산 비용과 훈련 효율성은 어떻게 다른가?
• RQ4 트리 기반 모델은 표본 기계학습에서 부분군 강건성의 강력하고 안정적이며 효율적인 기준 모델이 될 수 있는가?
• RQ5 여러 데이터셋에서 트리 기반 모델의 성능 경계는 전문화된 강건성 및 공정성 방법과 비교해 어떻게 다른가?

주요 결과

• XGBoost와 LightGBM와 같은 트리 기반 모델은 여덟 개의 모든 데이터셋에서 Group DRO 및 DORO와 같은 전문화된 공정성 및 강건성 방법보다 최악의 그룹 정확도가 유사하거나 뛰어나다.
• XGBoost는 LARC 데이터셋에서 최고의 최악의 그룹 정확도(0.728)를 기록했으며, Income 데이터셋에서는 전체 정확도 0.824로 두 번째로 높은 성능을 보였고, 조정된 DRO 및 DORO 변종보다도 뛰어났다.
• 공정성 및 강건성 방법에 비해 트리 기반 모델은 하이퍼파라미터 민감도가 현저히 낮았으며, 효과적인 조정을 위해 더 적은 반복 수를 필요로 하였다.
• 최고 성능을 보인 트리 모델은 여러 지표에서 뛰어난 성능을 보였지만, 공정성 및 강건성 모델은 지표 간 성능 격차가 커서 취약성을 보였다.
• 트리 기반 모델은 계산 비용이 적었고, CPU 로드와 같은 훈련 조건 변화에 덜 민감했으며, 소규모 German 데이터셋에서만 미미한 성능 저하가 관찰되었다.
• 기본 하이퍼파라미터 설정으로도 XGBoost와 LightGBM와 같은 트리 기반 모델은 높은 최악의 그룹 정확도를 달성했다(예: Adult에서 0.735, LARC에서 0.728). 이는 뛰어난 초기 설정 강건성을 보여준다.