[논문 리뷰] Multi-Target XGBoostLSS Regression

Alexander März|arXiv (Cornell University)|2022. 10. 13.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 다중 종속 응답 변수를 동시에 모델링할 수 있도록 XGBoostLSS를 확장한 확률적 회귀 프레임워크인 Multi-Target XGBoostLSS를 제안한다. 이 방법은 기울기 부스팅을 통해 다변량 분포의 모수를 동시에 추정함으로써 다중 응답 변수 간의 복잡한 의존성을 모델링한다. PyTorch를 통한 자동 미분을 활용하여 분석적 도함수가 유도하기 어려운 복잡한 분포를 효과적으로 처리하며, 기존 GBM보다 빠른 런타임을 달성하면서도 시뮬레이션 및 실세계 데이터셋에서 경쟁적인 정확도를 유지한다.

ABSTRACT

Current implementations of Gradient Boosting Machines are mostly designed for single-target regression tasks and commonly assume independence between responses when used in multivariate settings. As such, these models are not well suited if non-negligible dependencies exist between targets. To overcome this limitation, we present an extension of XGBoostLSS that models multiple targets and their dependencies in a probabilistic regression setting. Empirical results show that our approach outperforms existing GBMs with respect to runtime and compares well in terms of accuracy.

연구 동기 및 목표

• 기존 기울기 부스팅 기반 모델(GBM)이 다변량 설정에서 목표 변수 간 조건부 독립을 가정한다는 한계를 해결하기 위해.
• 다중 응답 변수 간 의존성을 명시적으로 모델링하는 확장 가능한 확률적 회귀 프레임워크를 개발하기 위해.
• 단일 목표 변수를 위한 XGBoostLSS 프레임워크를 다중 목표 분포 회귀를 처리할 수 있도록 다변량 분포의 유연한 형태로 확장하기 위해.
• PyTorch의 자동 미분과 GPU 히스토그램 기반 훈련을 활용하여 고차원 다변량 회귀에서의 계산 효율성을 향상시키기 위해.
• 단일 목표 및 다중 출력 GBM 기준 모델과 비교해 본인의 방법이 런타임 면에서 뛰어나고 정확도 면에서도 경쟁 가능함을 입증하기 위해.

제안 방법

• D개의 목표 변수에 대해 위치, 척도, 형태 모수를 포함한 다변량 분포의 공동 분포를 모델링함으로써 XGBoostLSS를 다중 목표 회귀로 확장한다.
• 응답 벡터 $\mathbf{y}_i \in \mathbb{R}^D$ 를 다변량 정규분포, 딜레르트 분포 또는 스튜던트-t 분포로 모델링하며, 이 분포의 모수는 기울기 부스팅을 통해 추정한다.
• 분석적 도함수가 유도하기 어려운 복잡한 분포의 경우, PyTorch를 통한 자동 미분을 활용하여 기울기와 헤시안을 계산한다.
• 완전 공분산 행렬과 축소된 공분산 행렬을 각각 코レス키 분해와 저랭크 근사(Low-Rank Approximation, LRA)를 통해 효율적으로 다변량 의존성 구조를 포착한다.
• 각 분포 모수에 대해 별도의 트리를 훈련하며, 음의 로그우도(Negative Log-Likelihood, NLL) 기반 손실 함수를 사용하여 공동 분포 모델을 최적화한다.
• Dask를 통한 분산 훈련과 GPU 가속 히스토그램 기반 훈련을 지원하여 대규모 데이터셋에서의 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 기울기 부스팅 프레임워크를 다변량 확률적 회귀에 효과적으로 확장하여 목표 변수 간의 명시적 의존성 모델링이 가능한가?
• RQ2 제안된 Multi-Target XGBoostLSS는 다변량 데이터셋에서 표준 GBM 및 다중 출력 회귀 모델과 비교해 런타임과 정확도 면에서 어떻게 성능을 내는가?
• RQ3 다양한 공분산 행렬 구조 근사 방법(코レス키 vs. 저랭크)이 모델 성능과 계산 비용에 미치는 영향은 어떠한가?
• RQ4 고차원 응답 변수에서 저랭크 근사의 랭크 파라미터 $r$ 의 선택에 따라 모델 성능은 얼마나 민감한가?
• RQ5 PyTorch의 자동 미분을 통해 복잡한 다변량 분포를 부스팅 프레임워크에서 효율적으로 훈련시킬 수 있는가?

주요 결과

• 제안된 Multi-Target XGBoostLSS는 효율적인 모수 추정과 GPU 히스토그램 훈련 지원 덕분에 표준 GBM보다 런타임 면에서 뛰어난 성능을 보였다.
• 저랭크 근사(LRA) 기반 모델은 저차원에서 중간차원 데이터셋에서 정확도와 계산 효율성의 최적 균형을 달성했으며, 대부분의 벤치마크에서 가장 낮은 NLL 점수를 기록했다.
• 저랭크 근사(LRA) 모델은 경쟁력 있는 성능를 보였지만, 랭크 파라미터 $r$ 에 매우 민감했으며, 최적 성능은 데이터셋과 차원에 따라 달라졌다.
• atp1d 데이터셋의 경우, $r$ 을 2에서 10으로 증가시켰더니 성능이 급격히 떨어졌으며(NLL 34.97에서 70.30으로 증가), 이는 고차원에서의 과적합을 시사했다.
• sl-dataset에서 $r=5$ 인 LRA 모델이 가장 낮은 중앙값 NLL(10.74)을 기록했고, 더 높은 랭크에서는 성능이 악화되어 표현력과 과적합 사이의 상충 관계를 확인했다.
• 고차원 oes10-dataset에서 LRA 모델은 $D$와 $r$ 에 대해 선형적으로 확장되는 파rameter 스케일링 덕분에 가장 낮은 런타임을 기록했으며, 고차원에서의 확장성 우수성을 입증했다.