[논문 리뷰] Generalized XGBoost Method

Guang Yang|arXiv (Cornell University)|2021. 09. 15.

Statistical Methods and Inference참고 문헌 2인용 수 7

한 줄 요약

이 논문은 손실 함수의 볼록성 제약을 완화함으로써 기존 XGBoost를 일반화한 방법을 제안한다. 이로써 볼록 손실 함수뿐 아니라 비볼록 손실 함수도 사용할 수 있게 되며, 다변량 손실 함수로의 확장도 가능해져, 다수의 확률분포 매개변수를 동시에 모델링할 수 있다. 이는 다목적 정규화 트리 부스팅을 통해 실현되며, 비생명 보험 보험료 산정 분야에 적용 사례가 제시되었다.

ABSTRACT

The XGBoost method has many advantages and is especially suitable for statistical analysis of big data, but its loss function is limited to convex functions. In many specific applications, a nonconvex loss function would be preferable. In this paper, I propose a generalized XGBoost method, which requires weaker loss function constraint and involves more general loss functions, including convex loss functions and some non-convex loss functions. Furthermore, this generalized XGBoost method is extended to multivariate loss function to form a more generalized XGBoost method. This method is a multiobjective parameter regularized tree boosting method, which can model multiple parameters in most of the frequently-used parametric probability distributions to be fitted by predictor variables. Meanwhile, the related algorithms and some examples in non-life insurance pricing are given.

연구 동기 및 목표

• 실제 응용에서 비볼록 손실 함수가 더 적절할 수 있는 상황에서 기존 XGBoost가 요구하는 볼록 손실 함수의 제약을 극복하기 위해.
• 기존 XGBoost를 다변량 손실 함수로 확장하여 확률분포의 여러 매개변수를 동시에 모델링할 수 있도록 하기 위해.
• 복잡한 통계 모델링 과제에 적용 가능한 다목적, 매개변수 정규화 트리 부스팅 프레임워크를 개발하기 위해.
• 비생명 보험 보험료 산정과 같은 실용적 환경에서의 적용 가능성을 입증하기 위해.
• XGBoost의 효율성을 유지하면서도 적용 범위를 넓힐 수 있는 유연하고 일반적인 부스팅 프레임워크를 제공하기 위해.

제안 방법

• 손실 함수의 볼록성 요구 조건을 완화함으로써 XGBoost를 일반화하여 비볼록 손실 함수도 포함할 수 있도록 한다.
• 예측 변수에 대한 다수의 분포 매개변수(예: 평균, 분산)를 함수로 모델링하는 다목적 설정을 도입한다.
• 모델 안정성 향상과 과적합 방지를 위해 매개변수 정규화를 통합한다.
• 일반화된 손실 함수를 사용하는 기울기 기반 트리 부스팅 알고리즘을 적용하여 표준 XGBoost 목표 함수를 다변량 출력을 처리할 수 있도록 확장한다.
• 트리 학습 중 효율적인 최적화를 위해 손실 함수의 이阶 근사법을 사용한다.
• 단변량 및 다변량 손실 함수를 모두 지원하여 확률분포의 민감한 모델링이 가능하다.

실험 결과

연구 질문

• RQ1 XGBoost가 최적화 안정성을 잃지 않고도 비볼록 손실 함수를 지원하도록 일반화할 수 있는가?
• RQ2 다변량 손실 함수를 트리 부스팅에 통합하여 다수의 분포 매개변수를 동시에 모델링할 수 있는가?
• RQ3 다중 매개변수 피팅 상황에서 매개변수 정규화가 모델 성능에 미치는 영향은 무엇인가?
• RQ4 일반화된 XGBoost 방법이 실제 비생명 보험 보험료 산정 과제에서 예측 정확도를 향상시킬 수 있는가?
• RQ5 비볼록 손실 함수를 사용할 때 일반화된 XGBoost 방법이 표준 XGBoost 대비 민감도와 수렴 성능 측면에서 어떻게 비교되는가?

주요 결과

• 일반화된 XGBoost 방법은 볼록 손실 함수뿐 아니라 비볼록 손실 함수도 성공적으로 지원하여 원래 XGBoost의 제약을 초월한 적용 가능성을 확보하였다.
• 이 방법은 다목적 부스팅 프레임워크를 통해 확률분포의 여러 매개변수(예: 평균, 분산)를 동시에 모델링할 수 있게 되었다.
• 매개변수 정규화의 통합은 고차원 또는 복잡한 피팅 과제에서 모델 안정성을 향상시키고 과적합을 감소시켰다.
• 비생명 보험 보험료 산정 분야의 실증 사례를 통해 이 방법의 실용성과 향상된 모델링의灵活性를 입증하였다.
• 일반화된 손실 함수를 사용하더라도 알고리즘은 표준 XGBoost와 유사한 계산 효율성과 수렴 성질을 유지하였다.
• 논문의 두 번째 판에서는 언어가 다듬어지고 명료성이 향상되어 메서드의 제안 과정이 반복적으로 발전된 것으로 나타났다.