[논문 리뷰] Combining Gradient Boosting Machines with Collective Inference to Predict Continuous Values

Iman Al-Odah, Jennifer Neville|arXiv (Cornell University)|2016. 07. 01.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 3

한 줄 요약

이 논문은 관계형 데이터의 회귀 작업에 집단 추론을 통합하는 새로운 경사 부스팅 알고리즘 MGB를 제안한다. 이 알고리즘은 잔차를 예측하기 위해 반복적으로 관계형 모델을 학습함으로써 성능을 향상시킨다. 기존의 경사 부스팅에 비해 관계형 의존성을 활용함으로써 예측 정확도를 향상시키며, 실제 네트워크 데이터셋에서의 실험 결과, 특히 이웃의 잔차 대신 현재의 부스팅 예측값을 특성으로 사용할 때 뛰어난 성능을 보였다.

ABSTRACT

Gradient boosting of regression trees is a competitive procedure for learning predictive models of continuous data that fits the data with an additive non-parametric model. The classic version of gradient boosting assumes that the data is independent and identically distributed. However, relational data with interdependent, linked instances is now common and the dependencies in such data can be exploited to improve predictive performance. Collective inference is one approach to exploit relational correlation patterns and significantly reduce classification error. However, much of the work on collective learning and inference has focused on discrete prediction tasks rather than continuous. %target values has not got that attention in terms of collective inference. In this work, we investigate how to combine these two paradigms together to improve regression in relational domains. Specifically, we propose a boosting algorithm for learning a collective inference model that predicts a continuous target variable. In the algorithm, we learn a basic relational model, collectively infer the target values, and then iteratively learn relational models to predict the residuals. We evaluate our proposed algorithm on a real network dataset and show that it outperforms alternative boosting methods. However, our investigation also revealed that the relational features interact together to produce better predictions.

연구 동기 및 목표

• 기존의 경사 부스팅이 관계형 데이터에서 적용될 때 인스턴스 간 상호의존성이 존재함에도 불구하고 i.i.d. 가정을 하기 때문에 발생하는 한계를 해결하기 위해
• 이전에는 주로 분류 작업에 사용된 집단 추론을 연속형 목표 변수를 가진 회귀 설정으로 확장하기 위해
• 경사 부스팅과 집단 추론을 융합함으로써 관계형 회귀 작업에서 예측 성능을 향상시킬 수 있는지 조사하기 위해
• 특히 이웃의 잔차 기반 특성과 현재의 부스팅 예측 기반 특성 간의 차이를 고려하여 다양한 관계형 특성의 영향을 평가하기 위해
• 잔차에 대한 집단 추론이 기존의 부스팅 또는 비집합적 관계형 모델에 비해 정확도를 향상시키는지 확인하기 위해

제안 방법

• 기본 관계형 모델을 학습한 후, 집단 추론을 사용하여 잔차를 예측하는 모델을 반복적으로 피팅하는 수정된 경사 부스팅(MGB) 알고리즘을 제안한다.
• 각 부스팅 단계에서 알고리즘은 진짜 값과 예측 값의 차이로 잔차를 계산하며, 손실 함수의 음의 기울기를 사용한다.
• 관계형 특성은 이웃의 목표 값, 현재의 부스팅 예측값, 잔차를 기반으로 구성되며, 초기 값은 알려진 이웃 값의 중앙값 또는 0으로 설정된다.
• 집단 추론을 통해 네트워크 전반에서 예측을 동시에 업데이트함으로써 관계형 상관관계를 활용하여 추정 정확도를 향상시킨다.
• 부스팅 과정은 단계별로 진행되며, $ F_m = F_{m-1} + \rho_m \cdot h_m $ 로 모델을 업데이트한다. 여기서 $ h_m $ 는 잔차에 적합된 약한 학습기이다.
• 알고리즘은 선형 탐색을 사용하여 스텝 크기 $ \rho_m $ 를 최적화하여 각 단계에서 손실을 최소화한다.

실험 결과

연구 질문

• RQ1 집단 추론은 관계형 회귀 작업에서 경사 부스팅 성능을 향상시킬 수 있는가?
• RQ2 이웃의 잔차 기반 특성과 현재 예측 기반 특성 등 다양한 관계형 특성이 모델 정확도에 어떤 영향을 미치는가?
• RQ3 잔차 학습 단계에 집단 추론을 통합함으로써 표준 경사 부스팅에 비해 일반화 성능이 향상되는가?
• RQ4 다양한 관계형 특성들이 최종 예측 성능에 기여하는 비율은 어떠한가?
• RQ5 잔차에 대한 집단 추론이 현재의 부스팅 예측값을 특성으로 사용하는 것보다 효과적인가?

주요 결과

• MGB 알고리즘은 실제 네트워크 데이터셋에서 표준 경사 부스팅 및 비집합적 관계형 모델보다 우수한 성능을 보이며, 집단 추론을 통해 회귀 정확도를 향상시켰다.
• 이웃의 현재 부스팅 예측값 기반 특성 Rf₄를 포함시킴으로써 성능 향상이 뚜렷하게 나타났으며, 이는 제거 실험을 통해 입증되었다.
• 이웃의 잔차 기반 특성(Rf₂ 및 Rf₃)은 성능 향상에 덜 효과적이었고, 때로는 성능을 떨어뜨렸다. 이는 집단 추론을 통한 잔차 정확한 추정이 어려운 것을 시사한다.
• Rf₁(알려진 이웃 값의 중앙값)과 Rf₄(현재 부스팅 예측값)를 함께 사용했을 때 최고의 성능를 기록했으며, 이는 특성 간 상호작용 효과를 강조한다.
• 결과적으로, 잔차의 집단 추론에 의존하기보다는 현재의 부스팅 예측값을 특성으로 사용하는 것이 더 효과적임을 시사하며, 이는 잔차가 오차와 상관관계가 있음에도 불구하고 그렇다.
• 알고리즘의 성능는 특성 초기화에 민감하며, Rf₁과 Rf₄에 대해 중앙값 기반 초기화가 무작위 또는 0 초기화보다 더 좋은 성능을 보였다.