[논문 리뷰] MetaBags: Bagged Meta-Decision Trees for Regression

Jihed Khiari, Luís Moreira-Matias외 3명|arXiv (Cornell University)|2018. 04. 17.

Machine Learning and Data Classification참고 문헌 24인용 수 5

한 줄 요약

MetaBags는 각 입력에 대해 맞춤형 메타특징을 바탕으로 최적의 기본 모델을 동적으로 선택하는 데 중점을 두어 회귀에 대한 새로운 스태킹 프레임워크를 제안한다. 이는 백트래킹된 메타결정트리들을 사용하여 특징공간의 하위 영역들 간의 예측 다양성을 활용하고 오차를 줄여 기존 방법들 대비 평균 RMSE에서 12.73% 향상된 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Ensembles are popular methods for solving practical supervised learning problems. They reduce the risk of having underperforming models in production-grade software. Although critical, methods for learning heterogeneous regression ensembles have not been proposed at large scale, whereas in classical ML literature, stacking, cascading and voting are mostly restricted to classification problems. Regression poses distinct learning challenges that may result in poor performance, even when using well established homogeneous ensemble schemas such as bagging or boosting. In this paper, we introduce MetaBags, a novel, practically useful stacking framework for regression. MetaBags is a meta-learning algorithm that learns a set of meta-decision trees designed to select one base model (i.e. expert) for each query, and focuses on inductive bias reduction. A set of meta-decision trees are learned using different types of meta-features, specially created for this purpose - to then be bagged at meta-level. This procedure is designed to learn a model with a fair bias-variance trade-off, and its improvement over base model performance is correlated with the prediction diversity of different experts on specific input space subregions. The proposed method and meta-features are designed in such a way that they enable good predictive performance even in subregions of space which are not adequately represented in the available training data. An exhaustive empirical testing of the method was performed, evaluating both generalization error and scalability of the approach on synthetic, open and real-world application datasets. The obtained results show that our method significantly outperforms existing state-of-the-art approaches.

연구 동기 및 목표

• 대규모에서 이질적인 회귀 앙상블을 학습하기 위한 확장 가능하고 효과적인 방법의 부족을 해결한다.
• 기존의 스태킹 기법에서 파arametric 메타러닝 모델이 복잡한 비선형 관계를 포착하지 못하는 한계를 극복한다.
• 훈련 데이터의 부트스트랩 샘플 위에서 메타결정트리를 학습시켜 모델 통합 시의 유도 편향을 줄인다.
• 낮은 데이터 또는 분포 외부 영역에서의 일반화 성능을 향상시키기 위해 특수화된 국소 랜드마킹 메타특징을 도입한다.
• 기존 최신 기술 수준의 앙상블 방법보다 뛰어난 성능을 내는 실용적이고 확장 가능한 스태킹 프레임워크를 개발한다.

제안 방법

• 다양한 기본 회귀 모델(예: 랜덤 포레스트, 기울기 부스팅, SVM)을 전문가로 훈련한다.
• 각 훈련 인스턴스에 대해 국소 데이터 분포와 모델 행동 특성의 특징을 포착하기 위해 새로운 국소 랜드마킹 메타특징을 계산한다.
• 백트래킹을 통해 메타결정트리를 학습한다: 각 트리는 훈련 데이터의 부트스트랩 샘플을 기반으로 하며, 메타특징을 입력으로, 기본 모델의 예측을 타겟으로 사용한다.
• 테스트 시점에 각 메타결정트리는 학습된 규칙을 사용해 입력에 대해 평가하여 가장 적절한 기본 모델을 선택한다.
• 선택된 기본 모델의 예측을 단순 평균을 통해 집계하여 최종 출력을 도출한다.
• 비모수적 메타러닝 접근법을 사용하여 앙상블 조합의 기능 형태에 대한 가정을 피한다.

실험 결과

연구 질문

• RQ1 백트래킹된 메타결정트리 기반의 메타러닝 프레임워크는 기존의 스태킹 및 앙상블 방법에 비해 회귀 성능을 크게 향상시킬 수 있는가?
• RQ2 새로운 국소 랜드마킹 메타특징은 희소한 훈련 데이터를 가진 하위 영역에서 모델 선택 정확도와 일반화 성능을 얼마나 향상시키는가?
• RQ3 메타Bags는 라이지 러닝(예: kNN)과 선형 스태킹에 비해 확장성과 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ4 메타트리를 백트래킹함으로써 분산을 줄이고 다양한 회귀 데이터셋에서 모델 통합의 강건성을 향상시킬 수 있는가?
• RQ5 메타트리를 통한 동적 전문가 선택은 입력 공간의 다양한 영역에서 예측 다양성을 효과적으로 활용할 수 있는가?

주요 결과

• MetaBags는 최신 기술 수준의 스태킹 방법보다 뚜렷이 뛰어나며, 17개 데이터셋에서 평균 RMSE 기준 12.73%의 상대적 향상을 달성한다.
• 새로운 국소 랜드마킹 메타특징의 포함으로 추가로 평균 2.67% 향상이 이루어져, 이들이 국소 데이터 특성을 포착하는 데 중요한 역할을 한다는 점을 입증한다.
• 외곽치 밀도가 높은 데이터셋에서 MetaBags는 평균 14.65% 향상된 성능을 보이며, 도전적인 낮은 커버리지 영역에서도 강건성을 입증한다.
• 훈련 시간이 선형 스태킹과 kNN 기반 동적 선택과 경쟁 가능하며, 확장성은 유지하지만 테스트 시 예측 시간은 다수의 트리 평가로 인해 더 느릴 수 있다.
• MetaBags는 어떤 기준 모델보다도 통계적으로 유의미하게 열등한 성능을 보이지 않아, 다양한 데이터셋에서 일관된 일반화 성능을 보인다.
• 제거 실험 결과에서 메타레벨의 백트래킹과 전용 메타특징의 사용이 성능 향상에 필수적임을 확인한다.