[논문 리뷰] Ensembles of Regularized Linear Models

Anthony-Alexander Christidis, Laks V. S. Lakshmanan외 2명|arXiv (Cornell University)|2017. 12. 10.

Statistical Methods and Inference참고 문헌 17인용 수 1

한 줄 요약

이 논문은 개별 모델 내의 희박성과 앙상블 간의 다양성을 동시에 촉진하는 공동 목표를 최적화하여 예측 정확도를 향상시키는 정규화된 선형 모델을 위한 새로운 앙상블 방법을 제안한다. 기저 추정기(예: 라소, 엘라스틱 넷)를 겹치는 특성 부분집합에 피팅하면서 모델 다양성을 유도함으로써, 표준 정규화된 선형 회귀보다 시뮬레이션과 실제 데이터에서 향상된 예측 성능을 달성한다.

ABSTRACT

We propose an approach for building ensembles of regularized linear models by optimizing a novel objective function, that encourages sparsity within each model and diversity among them. Our procedure works on top of a given penalized linear regression estimator (e.g., Lasso, Elastic Net, SCAD) by fitting it to possibly overlapping subsets of features, while at the same time encouraging diversity among the subsets, to reduce the correlation between the predictions that result from each fitted model. The predictions from the models are then aggregated. For the case of an Elastic Net penalty and orthogonal predictors, we give a closed form solution for the regression coefficients in each of the ensembled models. An extensive simulation study and real-data applications show that the proposed method systematically improves the prediction accuracy of the base linear estimators being ensembled. Extensions to GLMs and other models are discussed.

연구 동기 및 목표

• 모델 앙상블을 활용하여 정규화된 선형 모델의 예측 정확도를 향상시키는 것.
• 공통된 특성 선택으로 인해 예측이 상당히 상관관계를 가지는 표준 정규화 추정기의 한계를 해결하는 것.
• 개별 모델 내의 희박성과 앙상블 간의 다양성을 동시에 유도하는 프레임워크를 개발하는 것.
• 라소, 엘라스틱 넷, SCAD를 포함한 다양한 정규화된 회귀 방법에 적용 가능한 일반화 가능한 접근법을 제공하는 것.
• 일반선형모형(GLMs) 및 기타 지수족 모형으로의 방법 확장을 위한 것.

제안 방법

• 각 모델 내의 희박성과 앙상블 구성원 간의 다양성을 균형 잡는 새로운 목표 함수를 최적화하는 방법.
• 겹치는 특성 부분집합에 기반한 정규화된 추정기(예: 엘라스틱 넷)를 적용하며, 부분집합 선택은 최적화 목표에 의해 유도된다.
• 직교 예측변수와 엘라스틱 넷의 경우, 각 앙상블 모델의 회귀계수에 대한 닫힌 형식의 해가 유도된다.
• 개별 모델의 예측을 평균화하여 최종 앙상블 예측을 도출한다.
• 최적화 과정에서 예측의 상관관계가 높아지는 것을 방지하기 위해 모델 간의 다양성을 유도하는 페널티를 적용한다.
• 적절한 우도 기반 최적화를 통해 프레임워크를 일반선형모형(GLMs) 및 기타 지수족 모형으로 확장할 수 있다.

실험 결과

연구 질문

• RQ1 정규화된 선형 모델의 앙상블화가 개별 추정기보다 예측 정확도를 향상시킬 수 있는가?
• RQ2 각 모델의 희박성을 유지하면서 앙상블 내 모델 간의 다양성을 체계적으로 유도할 수 있는가?
• RQ3 고차원 설정에서 겹치는 특성 부분집합이 앙상블 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 라소나 엘라스틱 넷과 같은 표준 정규화 기법보다 더 뛰어난 성능을 내는가?
• RQ5 일반선형모형(GLMs)과 같은 선형 회귀 이외의 모델로의 일반화 가능성은 어느 정도인가?

주요 결과

• 제안된 앙상블 방법은 기저 정규화된 추정기보다 여러 시뮬레이션 시나리오에서 일관되게 예측 정확도를 향상시킨다.
• 앙상블 구성원 간의 예측 상관관계를 줄임으로써, 표준 라소, 엘라스틱 넷, SCAD보다 더 높은 예측 정확도를 달성한다.
• 직교 예측변수와 엘라스틱 넷의 경우, 닫힌 형식의 해를 얻어 모델 계수를 효율적으로 계산할 수 있다.
• 실제 데이터에 대한 실증 결과는 앙상블 접근법이 개별 정규화 모델보다 예측 오차 측면에서 뛰어난 성능을 보임을 보여준다.
• 특성 겹침에 대해 강건성을 유지하며, 특성 수가 표본 크기를 초과하는 경우에도 강력한 성능을 유지한다.
• 일반선형모형(GLMs)으로의 확장 가능성이 입증되었으며, 다양한 통계 모델링 과제에 대한 적용 가능성을 넓힌다.