[논문 리뷰] Gradient tree boosting with random output projections for multi-label classification and multi-output regression

Arnaud Joly, Louis Wehenkel외 1명|arXiv (Cornell University)|2019. 05. 18.

Text and Document Classification Technologies참고 문헌 46인용 수 8

한 줄 요약

이 논문은 출력 상관관계를 기반으로 나무 구조를 적응적으로 공유할 수 있도록 출력 공간의 랜덤 프로젝션을 사용하는 다중 레이블 분류 및 다중 출력 회귀를 위한 새로운 기울기 트리 부스팅 프레임워크를 제안한다. 단일 트리를 출력 전체에 대한 잔차의 랜덤 프로젝션에 맞추고, 그 예측을 선형으로 모든 출력에 투영함으로써, 계산 효율성을 유지하면서도 상관관계를 효과적으로 포착한다. 다양한 데이터셋에서 기존의 바이너리 리레벨런스 및 공동 트리 방법보다 뛰어난 성능을 보였다.

ABSTRACT

In many applications of supervised learning, multiple classification or regression outputs have to be predicted jointly. We consider several extensions of gradient boosting to address such problems. We first propose a straightforward adaptation of gradient boosting exploiting multiple output regression trees as base learners. We then argue that this method is only expected to be optimal when the outputs are fully correlated, as it forces the partitioning induced by the tree base learners to be shared by all outputs. We then propose a novel extension of gradient tree boosting to specifically address this issue. At each iteration of this new method, a regression tree structure is grown to fit a single random projection of the current residuals and the predictions of this tree are fitted linearly to the current residuals of all the outputs, independently. Because of this linear fit, the method can adapt automatically to any output correlation structure. Extensive experiments are conducted with this method, as well as other algorithmic variants, on several artificial and real problems. Randomly projecting the output space is shown to provide a better adaptation to different output correlation patterns and is therefore competitive with the best of the other methods in most settings. Thanks to model sharing, the convergence speed is also improved, reducing the computing times (or the complexity of the model) to reach a specific accuracy.

연구 동기 및 목표

• 기존의 다중 출력 학습 방법이 출력 상관관계를 무시하는 경우(예: 바이너리 리레벨런스) 또는 상관관계와 관계없이 동일한 트리 구조를 강제로 적용하는 경우(예: 공동 트리)의 한계를 해결하기 위해.
• 출력 공간의 랜덤 프로젝션을 사용하여 출력 간 상관관계 구조에 따라 동적으로 적응하는 기울기 부스팅 확장 기법을 개발하기 위해.
• 상관관계가 있는 출력들 사이에서만 나무 구조를 지능적으로 공유함으로써 모델 효율성과 수렴 속도를 향상시키기 위해.
• 다양한 다중 레이블 및 다중 출력 회귀 데이터셋에서 실증적으로 평가하여 최신 기준 방법들과 비교하기 위해.

제안 방법

• 각 부스팅 반복 단계에서, 모든 출력에 걸쳐 현재 잔차의 단일 랜덤 프로젝션에 맞추어 회귀 트리를 성장시킨다.
• 이 트리의 예측은 모든 출력의 잔차에 대해 독립적으로 선형적으로 피팅되며, 이는 상관관계가 있는 출력들에 대한 선택적 적응을 가능하게 한다.
• 이 방법은 모든 출력에 동일한 트리 구조를 강제로 적용하는 것을 방지하기 위해 랜덤 프로젝션을 사용하며, 이로써 다양한 상관관계 패턴에 자연스럽게 적응할 수 있다.
• 두 가지 변형을 탐색한다: 하나는 글로벌 선형 피팅을 사용하고, 다른 하나는 각 출력별로 트리 리프를 재할당하여 예측을 정밀화하는 방식이다.
• 선형으로 투영된 예측 기반으로 잔차를 반복적으로 업데이트함으로써 부스팅 프레임워크를 유지한다.
• 이론적으로는 훈련 데이터에 대한 수렴성 증명을 통해 전체 손실 함수를 최소화함을 보여주며, 이는 방법의 타당성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 출력 공간의 랜덤 프로젝션을 통해 기울기 부스팅이 상관관계가 있는 출력들 사이에서만 나무 구조를 적응적으로 공유할 수 있는가?
• RQ2 다양한 다중 출력 학습 작업에서 제안된 방법이 바이너리 리레벨런스 및 공동 트리 방법과 비교해 성능 면에서 어떻게 나타나는가?
• RQ3 표준 다중 출력 부스팅에 비해 랜덤 프로젝션 사용이 수렴 속도와 모델 효율성 향상에 기여하는가?
• RQ4 다중 레이블 및 다중 출력 회귀 문제에서 다양한 상관관계 구조에 대해 이 방법이 얼마나 일반화되는가?

주요 결과

• 제안된 방법, 특히 gbrt-rpo-gaussian 변형은 21개의 다중 레이블 데이터셋 중 14개에서 최고 또는 근접한 성능를 기록했으며, 여러 벤치마크에서 평균 평균 정밀도(mAP) 향상을 보였다.
• 의료 및 단백질 상호작용 데이터셋에서 gbrt-rpo-gaussian는 각각 mAP 점수 0.867±0.011 및 0.310±0.007를 기록하며 모든 베이스라인을 압도했다.
• 다중 출력 회귀에서는 8개 데이터셋 중 6개에서 최신 기술 수준의 성능를 달성했으며, gbrt-rpo-gaussian 변형은 5개 데이터셋에서 가장 높은 R² 점수를 기록했다.
• 출력 간 상관관계가 있을 경우에만 나무 구조를 공유함으로써 학습 시간과 모델 복잡도를 감소시켜, 표준 공동 트리 방법보다 더 빠른 수렴을 이뤘다.
• 재할당 변형(gbrt-relabel-rpo-gaussian)은 일부 데이터셋에서 성능을 추가로 향상시켜, 출력별 정밀화가 일반화 능력을 향상시킬 수 있음을 시사했다.
• 실증 결과는 랜덤 프로젝션을 통해 모델이 출력 상관관계를 자동으로 탐지하고 활용할 수 있음을 확인했으며, 독립 학습 및 완전한 공유 트리 학습 전략보다 뛰어난 성능를 보였다.