[논문 리뷰] GBDT-MO: Gradient Boosted Decision Trees for Multiple Outputs
이 논문은 다중 출력을 위한 새로운 기울기 부스팅 결정 트리 프레임워크인 GBDT-MO를 제안한다. 이는 각 리프에서 모든 출력에 대해 공통 목적 함수의 이득을 최적화하여 출력 변수 간 상관관계를 함께 모델링한다. 이중 기울기 근사와 히스토그램 기반 분할을 다중 출력 환경으로 확장함으로써, GBDT-MO는 일반화 성능이 뛰어나고 훈련 속도가 빠르며, 특히 고차원 출력에서 뛰어난 성능을 발휘한다. 또한 L₀ 정규화를 통한 희소 출력 선택 기능을 제공한다.
Gradient boosted decision trees (GBDTs) are widely used in machine learning, and the output of current GBDT implementations is a single variable. When there are multiple outputs, GBDT constructs multiple trees corresponding to the output variables. The correlations between variables are ignored by such a strategy causing redundancy of the learned tree structures. In this paper, we propose a general method to learn GBDT for multiple outputs, called GBDT-MO. Each leaf of GBDT-MO constructs predictions of all variables or a subset of automatically selected variables. This is achieved by considering the summation of objective gains over all output variables. Moreover, we extend histogram approximation into multiple output case to speed up the training process. Various experiments on synthetic and real-world datasets verify that GBDT-MO achieves outstanding performance in terms of both accuracy and training speed. Our codes are available on-line.
연구 동기 및 목표
- 표준 GBDT가 출력 변수 간 상관관계를 忽시하는 한계를 해결하기 위해.
- 단일 트리 내에서 출력 의존성을 함께 모델링하여 다중 출력 학습의 구조적 중복을 줄이기 위해.
- 이중 기울기 근사와 히스토그램 기반 최적화를 사용하여 다중 출력 GBDT의 확장 가능하고 효율적인 훈련 방법을 개발하기 위해.
- L₀ 제약 조건을 통한 희소 분할 탐색을 통해 각 리프에서 관련 출력 부분집합을 자동으로 선택할 수 있도록 하기 위해.
- 표준 GBDT 및 기존 다중 출력 방법과 비교해 일반화 성능과 훈련 속도를 향상시키기 위해.
제안 방법
- GBDT-MO는 트리 분할 과정에서 모든 출력 변수의 목적 함수 이득의 합을 최대화하는 공동 목적 함수를 수립한다.
- 손실 함수의 이중 기울기 테일러 근사를 다중 출력 케이스로 확장하여 보다 정확하고 안정적인 갱신을 가능하게 한다.
- 히스토그램 근사를 다중 출력으로 일반화하여 특성 값의 분할을 통해 효율적인 기울기 계산과 빠른 훈련을 가능하게 한다.
- 두 가지 희소 분할 탐색 알고리즘을 제안한다: 제한 없음과 제한 있음. 양쪽 모두 L₀ 정규화를 통합하여 각 분할에서 관련 출력 부분집합을 선택한다.
- 제한된 희소 알고리즘은 왼쪽 및 오른쪽 자식 노드 간 공통 지원을 제약함으로써 훈련 속도를 향상시킨다.
- 대각 헤시안 근사를 사용하여 계산 비용을 감소시키면서도 높은 정확도를 유지한다.
실험 결과
연구 질문
- RQ1GBDT에서 다중 출력의 공동 최적화가 출력 간 상관관계를 포착함으로써 일반화 성능을 향상시킬 수 있는가?
- RQ2제안된 다중 출력 GBDT 프레임워크는 표준 GBDT 및 기존 다중 출력 방법과 비교해 정확도와 훈련 속도에서 어떻게 성능을 내는가?
- RQ3L₀ 정규화는 다중 출력 GBDT에서 출력 부분집합 선택과 모델 성능에 어떤 영향을 미치는가?
- RQ4히스토그램 근사를 다중 출력 환경으로 확장하는 것이 훈련 속도 향상에 얼마나 효과적인가?
- RQ5제한된 희소 분할 탐색 알고리즘이 비제한 버전보다 성능과 속도의 더 나은 트레이드오���을 제공하는가?
주요 결과
- GBDT-MO는 훈련 손실이 더 높음에도 불구하고 테스트 손실이 낮고 정확도가 더 높아 GBDT-SO와 XGBoost보다 더 우수한 일반화 성능을 보였다.
- MNIST와 Caltech101에서 GBDT-MO는 GBDT-SO보다 최대 1.2% 높은 테스트 정확도를 기록했으며, 후속 라운드에서 더 빠른 수렴 속도를 보였다.
- GBDT-MO는 GBDT-SO와 XGBoost보다 훨씬 빠르며, 출력 수가 많을수록 특히 뚜렷한 성능 향상을 보였다. LightGBM보다 약간 빠르게 작동했다.
- 제한된 희소 분할 탐색 알고리즘은 비제한 버전보다 약간 더 높은 테스트 성능과 훨씬 빠른 훈련 속도를 기록했으며, 특히 고희소 수준에서 두드러진 성능을 보였다.
- 대각 헤시안 근사는 MNIST에서 훈련 시간을 약 75% 감소시키고, Yeast에서는 약 88% 감소시켰으며, 정확도 저하도 최소한의 수준(모든 데이터셋에서 ≤0.5%)을 유지했다.
- 최적의 희소성 요소 k를 설정한 경우, 희소 GBDT-MO 변형은 비희소 기반 모델을 초월할 수 있었으며, 예를 들어 k=64일 때 Caltech101에서 64.1%의 정확도를 달성했다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.