[논문 리뷰] Optimizing Ensemble Weights and Hyperparameters of Machine Learning Models for Regression Problems

Mohsen Shahhosseini, Guiping Hu외 1명|arXiv (Cornell University)|2019. 08. 14.

Machine Learning and Data Classification인용 수 9

한 줄 요약

이 논문은 베이지안 하이퍼파ram터 검색과 다각도의 기본 학습자 생성 히ュ리스틱을 사용하여 회귀 모델의 하이퍼파ram터와 앙상블 가중치를 동시에 최적화하는 네스트형 최적화 프레임워크인 GEM-ITH를 제안한다. 이 방법은 10개의 공개 데이터셋에서 동시에 모델 가중치와 내부 하이퍼파ram터를 최적화함으로써 예측 성능을 향상시키며, 표준 스태킹 방법에 비해 뛰어난 일반화 성능을 입증한다.

ABSTRACT

Aggregating multiple learners through an ensemble of models aim to make better predictions by capturing the underlying distribution of the data more accurately. Different ensembling methods, such as bagging, boosting, and stacking/blending, have been studied and adopted extensively in research and practice. While bagging and boosting focus more on reducing variance and bias, respectively, stacking approaches target both by finding the optimal way to combine base learners. In stacking with the weighted average, ensembles are created from weighted averages of multiple base learners. It is known that tuning hyperparameters of each base learner inside the ensemble weight optimization process can produce better performing ensembles. To this end, an optimization-based nested algorithm that considers tuning hyperparameters as well as finding the optimal weights to combine ensembles (Generalized Weighted Ensemble with Internally Tuned Hyperparameters (GEM-ITH)) is designed. Besides, Bayesian search was used to speed-up the optimizing process, and a heuristic was implemented to generate diverse and well-performing base learners. The algorithm is shown to be generalizable to real data sets through analyses with ten publicly available data sets.

연구 동기 및 목표

• 기존 앙상블 방법이 가중치 또는 하이퍼파aram터를 별도로 최적화하는 데서 비롯하는 한계를 해결하기 위해.
• 회귀 과제에서 기본 학습자들의 앙상블 가중치와 하이퍼파aram터를 동시에 최적화하는 통합 프레임워크를 개발하기 위해.
• 히ュ리스틱 기반 접근을 통해 다양한 고성능 기본 학습자를 생성함으로써 모델의 일반화 능력과 예측 정확도를 향상시키기 위해.
• 내부 알고리즘 구조 내에서 베이지안 하이퍼파aram터 최적화를 활용하여 최적화 과정을 가속화하기 위해.
• 다양한 실제 회귀 데이터셋에서 방법의 효과성을 검증하기 위해.

제안 방법

• 제안된 방법인 GEM-ITH는 기본 학습자들의 하이퍼파aram터를 앙상블 가중치 최적화 과정 동안 동시에 조정하는 네스트형 최적화 루프를 사용한다.
• 효율적인 하이퍼파aram터 공간 탐색을 위해 베이지안 최적화가 사용되어 계산 비용을 감소시킨다.
• 다양하고 우수한 성능을 보이는 기본 학습자를 생성하기 위해 히ュ리스틱이 적용되어 앙상블의 다양성과 강건성을 향상시킨다.
• 앙상블는 기본 모델들의 가중 평균으로 구성되며, 최적의 가중치는 네스트형 최적화 프레임워크를 통해 결정된다.
• 기본 모델 유형이나 데이터 분포에 대한 가정 없이 일반화 가능한 알고리즘으로 설계되어 있다.
• 예측 성능를 극대화하기 위해 하이퍼파aram터 최적화와 가중치 최적화를 하나의 종단 간 프로세스로 통합한다.

실험 결과

연구 질문

• RQ1 앙상블 가중치와 하이퍼파aram터를 동시에 최적화하는 것이 순차적 또는 별도의 최적화보다 더 나은 회귀 성능을 이끌 수 있는가?
• RQ2 베이지안 하이퍼파aram터 검색의 사용이 앙상블 모델 학습의 효율성과 효과성에 어떤 영향을 미치는가?
• RQ3 다양한 기본 학습자를 생성하는 것이 앙상블의 일반화 능력과 강건성에 어느 정도 기여하는가?
• RQ4 GEM-ITH는 다양한 회귀 데이터셋에서 표준 스태킹 및 기타 앙상블 방법과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 프레임워크는 다양한 유형의 회귀 문제와 데이터 분포에 효과적으로 일반화될 수 있는가?

주요 결과

• GEM-ITH는 표준 스태킹 및 기준 앙상블 방법에 비해 10개의 공개 회귀 데이터셋에서 뛰어난 예측 성능을 달성한다.
• 가중치와 하이퍼파aram터의 동시 최적화는 평균 제곱 오차(MSE) 및 결정계수(R-squared) 지표에서 뚜렷한 향상을 이끌어낸다.
• 베이지안 하이퍼파aram터 최적화는 높은 모델 품질을 유지하면서도 하이퍼파aram터 검색의 계산 부담을 감소시킨다.
• 다양한 기본 학습자를 생성하기 위한 히ュ리스틱은 앙상블의 다양성과 강건성을 향상시키며 일반화 능력을 강화한다.
• 이 방법은 다양한 데이터 유형과 회귀 문제에서 잘 일반화되며 일관된 성능 향상을 보인다.
• 네스트형 최적화 프레임워크는 편향과 분산을 효과적으로 균형 잡아 더 정확하고 안정적인 예측을 가능하게 한다.