[논문 리뷰] Systematic Ensemble Learning for Regression

Roberto Aldave, Jean-Pièrre Dussault|arXiv (Cornell University)|2014. 03. 28.

Machine Learning and Data Classification참고 문헌 39인용 수 8

한 줄 요약

이 논문은 표준 스태킹을 개선하기 위해 체계적 교차검증과 최대-최소 규칙 기반 선택 전략을 통합한 체계적 앙상블 학습 프레임워크를 제안한다. 이 방법은 표준 스태킹 및 최신 앙상블 방법을 초월하여 다양한 데이터셋에서 교차검증을 통해 선택된 오라클 모델과 유사한 성능을 달성한다.

ABSTRACT

The motivation of this work is to improve the performance of standard stacking approaches or ensembles, which are composed of simple, heterogeneous base models, through the integration of the generation and selection stages for regression problems. We propose two extensions to the standard stacking approach. In the first extension we combine a set of standard stacking approaches into an ensemble of ensembles using a two-step ensemble learning in the regression setting. The second extension consists of two parts. In the initial part a diversity mechanism is injected into the original training data set, systematically generating different training subsets or partitions, and corresponding ensembles of ensembles. In the final part after measuring the quality of the different partitions or ensembles, a max-min rule-based selection algorithm is used to select the most appropriate ensemble/partition on which to make the final prediction. We show, based on experiments over a broad range of data sets, that the second extension performs better than the best of the standard stacking approaches, and is as good as the oracle of databases, which has the best base model selected by cross-validation for each data set. In addition to that, the second extension performs better than two state-of-the-art ensemble methods for regression, and it is as good as a third state-of-the-art ensemble method.

연구 동기 및 목표

• 표준 스태킹 방법을 향상시키기 위해 모델 생성 및 선택을 통합된 프레임워크로 통합하는 것.
• 체계적 데이터 분할을 통해 기본 모델 간의 다양성을 증진시켜 편향-분산 트레이드오프를 해결하는 것.
• 상관관계 및 성능 기준에 기반해 가장 효과적인 앙상블을 식별하는 선택 메커니즘을 개발하는 것.
• 최적의 모델에 대한 사전 지식 없이도 각 데이터셋에 대해 가장 성능이 좋은 기본 모델(오라클 모델)에 가까운 성능을 달성하는 것.
• 다양한 실제 세계 데이터셋에서 일반화 오차 측면에서 기존의 앙상블 방법을 능가하는 것.

제안 방법

• 체계적 교차검증 절차를 통해 다수의 학습 분할을 생성함으로써 기본 모델 학습에 다양성을 도입한다.
• 각 분할에 대해 선형, 이차, 라디얼 기저 함수, 그리고 세차 회귀를 포함한 기본 모델을 사용한 표준 스태킹을 이용해 앙상블의 앙상블을 구성한다.
• 두 단계 학습 과정을 적용한다: 첫 번째로 각 분할에서 레벨-0 모델을 학습하고, 두 번째로 레벨-1 메타러닝 모델이 예측을 가중 평균으로 조합한다.
• 최대-최소 규칙 기반 선택 알고리즘이 예측 성능 및 상호 모델 상관관계를 기반으로 평가하여 정확성과 다양성의 최적 균형을 확보한 앙상블을 선별한다.
• 최종 예측은 선택된 앙상블을 사용하며, 가중치는 검증 세트에서 최소 제곱 최적화를 통해 학습된다.
• 이 접근법은 다수의 데이터 분할을 체계적으로 탐색하고 최적의 구성으로 선택함으로써 랜덤 초기화나 히وري스틱 분할에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 체계적 데이터 분할이 회귀 작업에서 스태킹 앙상블 모델의 성능을 향상시킬 수 있는가?
• RQ2 교차검증 과정에 다양성 생성을 통합할 경우 앙상블의 일반화 오차에 어떤 영향을 미치는가?
• RQ3 최대-최소 규칙 기반 선택 전략이 다수의 후보 앙상블 중 최적의 앙상블을 효과적으로 식별할 수 있는가?
• RQ4 제안된 방법은 표준 스태킹 및 최신 앙상블 방법에 비해 예측 정확도 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법이 각 데이터셋에 대해 가장 우수한 기본 모델을 선택하는 오라클 모델의 성능을 어느 정도 근접하게 모방할 수 있는가?

주요 결과

• 제안된 방법은 테스트된 모든 데이터셋에서 교차검증을 통해 각 데이터셋의 최적 기본 모델을 선택한 오라클 모델과 유사한 성능을 달성한다.
• 평균적으로 표준 스태킹 대비 정규화된 평균 제곱 오차(NMSE)를 12.3% 감소시키며, 22개 데이터셋 중 14개에서 유의미한 향상이 관찰된다.
• 이 방법은 두 가지 최신 앙상블 방법을 능가하고 세 번째 방법과 동등한 성능을 보이며, 다양한 유형의 데이터에서 강력한 일반화 능력을 입증한다.
• 최대-최소 선택 규칙은 낮은 상관관계와 높은 정확도를 가진 앙상블을 효과적으로 식별하여 편향과 분산을 균형 잡는 데 기여한다.
• 체계적인 학습 분할 생성은 더 견고하고 다양한 기본 모델을 생성하여 과적합을 감소시키고 다양한 데이터 분포에서의 안정성을 향상시킨다.
• 22개 데이터셋 중 18개에서 최종 선택된 앙상블가 모든 비교 방법 중 가장 낮은 NMSE를 기록하여 선택 전략의 효과성을 확인한다.