[논문 리뷰] pystacked: Stacking generalization and machine learning in Stata

Achim Ahrens, Christian Hansen외 1명|arXiv (Cornell University)|2022. 08. 23.

Probability and Statistical Research인용 수 3

한 줄 요약

pystacked는 파이썬의 scikit-learn을 사용하여 스태킹 일반화—다양한 기계학습 모델을 조합하는 방법—를 구현하는 Stata 명령어입니다. 교차검증을 통해 메타특징을 생성하고, 최종 가중 평균 모델을 피팅함으로써 회귀 및 이元분류 작업에서 뛰어난 예측 성능을 달성합니다. 스팸 분류 작업에서 AUC 0.997의 성능을 기록하여, 이는 다양한 기계학습 모델을 조합한 결과입니다.

ABSTRACT

The pystacked command implements stacked generalization (Wolpert, 1992, Neural Networks 5: 241–259) for regression and binary classification via Python’s scikit-learn. Stacking combines multiple supervised machine learners— the “base” or “level-0” learners—into one learner. The currently supported base learners include regularized regression, random forest, gradient boosted trees, support vector machines, and feed-forward neural nets (multilayer perceptron). pystacked can also be used as a “regular” machine learning program to fit one base learner and thus provides an easy-to-use application programming interface for scikit-learn’s machine learning algorithms.

연구 동기 및 목표

• 예측 정확도를 향상시키는 강력한 앙상블 방법인 스태킹 일반화를 Stata 사용자에게 원활한 인터페이스로 제공하기 위해.
• 정규화된 회귀, 랜덤 포레스트, 기울기 부스팅, 서포트 벡터 머신, 신경망 등 다양한 알고리즘을 포함한 scikit-learn의 기능을 통합함으로써 Stata의 기계학습 기능을 확장하기 위해.
• 통합된 사용자 友好的한 API를 통해 스태킹 일반화와 개별 학습 모델의 독립적 학습을 동시에 지원하기 위해.
• 교차-피팅과 강건한 예측 모델을 통해 DDML(Double-Debiased Machine Learning)와의 통합을 가능하게 하여 인과 추론 응용을 촉진하기 위해.
• 희소 행렬, 사용자 정의 파ip라인, 병렬 처리를 지원함으로써 재현 가능성과 사용성을 향상시키고, Stata 내부 환경에서의 효율적인 운영을 가능하게 하기 위해.

제안 방법

• 스태킹 과정에서 과적합을 방지하기 위해 다수의 기본 학습기에서 검증 예측값(메타특징)을 생성하기 위해 교차검증을 사용합니다.
• 기본 모델의 교차검증 예측값을 입력 특징으로 사용하여 진짜 결과를 예측하는 최종 레벨의 학습기(일반적으로 제약 조건이 있는 최소 제곱법)를 적용합니다.
• 스태킹 가중치에 비음성 및 총합이 1이 되는 제약 조건을 적용하여 기본 모델의 가중 평균으로서의 해석 가능성을 확보합니다.
• scikit-learn 파이프라인을 통해 모델별 전처리를 지원합니다(예: 로지스틱 회귀에 대한 다항식 확장).
• njobs() 옵션을 통해 기울기 부스팅 및 신경망과 같이 계산 비용이 큰 모델의 학습 속도를 향상시키기 위해 병렬 처리를 지원합니다.
• 두 가지 문법 형식을 제공합니다: 모듈화된 유연한 문법과 사용 편의성을 높인 단순화된 명령줄 형식.

실험 결과

연구 질문

• RQ1 Stata에서 스태킹 일반화가 개별 기계학습 모델보다 회귀 및 분류 작업에서 예측 성능을 크게 향상시킬 수 있는가?
• RQ2 pystacked가 scikit-learn과 통합되면서 Stata의 기계학습 생태계에 기존 도구와 비교해 어떤 방식으로 향상되는가?
• RQ3 실제 데이터셋(예: 스팸 분류 작업)에서 스태킹은 개별 기본 학습기보다 예측 오차를 얼마나 줄이는가?
• RQ4 pystacked는 교차-피팅과의 호환성과 함께 DDML과의 통합을 통해 어떤 방식으로 고급 응용 사례(예: 인과 추론)를 지원하는가?
• RQ5 다양한 학습기들을 조합할 때, 모델 다양성, 계산 비용, 예측 정확도 사이의 실질적 트레이드오프는 어떠한가?

주요 결과

• 스팸 분류 작업에서 스태킹은 검증 세트에서 AUC 0.9969를 기록하여, 로지스틱 회귀(AUC 0.9133)와 개별 기울기 부스팅 모델들(AUC 0.9973 및 0.9562)보다 뚜렷이 뛰어난 성능을 보였다.
• 600개의 트리를 가진 기울기 부스팅 모델이 가장 높은 스태킹 가중치(0.482)를 확보하여 최종 예측에 가장 큰 기여를 하였고, 1000개 트리를 가진 다른 기울기 부스팅 모델이 뒤이어 가중치 0.345를 확보하였다.
• 최종 스태킹 모델은 테스트 정확도 94.9%를 기록하였으며(1133개의 검증 관측치 중 참양성 678개, 참음성 397개), 이는 로지스틱 회귀의 71.2%보다 높은 성능이었다.
• 혼동 행렬 분석 결과, 스태킹은 검증 세트에서 참양성 29개, 참음성 29개의 오류만을 기록한 반면, 로지스틱 회귀는 각각 294개와 32개의 오류를 기록하였다.
• pystacked는 뉴럴 네트워크와 같은 다양한 아키텍처를 가진 모델들을 수월하게 통합하여 단일 고성능 앙상블로 조합함으로써 수동으로 모델을 조합할 필요 없이도 성공적으로 통합하였다.
• 희소 행렬, 사용자 정의 파이프라인, 병렬 처리(njobs 옵션)를 지원함으로써, Stata 환경 내에서 대규모 데이터셋에 대한 효율적인 학습 및 구현을 가능하게 하였다.