[논문 리뷰] A Bayes interpretation of stacking for M-complete and M-open settings

Tri Le, Bertrand Clarke|arXiv (Cornell University)|2016. 02. 16.

Bayesian Modeling and Causal Inference참고 문헌 11인용 수 3

한 줄 요약

이 논문은 M-complete 및 M-open 설정에서 스태킹의 베이지안적 정당성을 제시하며, 스태킹 가중치가 점점 증가함에 따라 사후 기대 손실을 최소화함으로써 교차검증을 베이지안 최적 절차로 공식화한다. 표준의 양수성 및 합이 1이 되는 제약 조건을 완화하고, 부트스트랩 샘플링을 통한 데이터 기반 기저 생성을 제안하여 예측자 선택 및 가중치 조정을 최적화한다.

ABSTRACT

In M-open problems where no true model can be conceptualized, it is common to back off from modeling and merely seek good prediction. Even in M-complete problems, taking a predictive approach can be very useful. Stacking is a model averaging procedure that gives a composite predictor by combining individual predictors from a list of models using weights that optimize a cross-validation criterion. We show that the stacking weights also asymptotically minimize a posterior expected loss. Hence we formally provide a Bayesian justification for cross-validation. Often the weights are constrained to be positive and sum to one. For greater generality, we omit the positivity constraint and relax the `sum to one' constraint. A key question is `What predictors should be in the average?' We first verify that the stacking error depends only on the span of the models. Then we propose using bootstrap samples from the data to generate empirical basis elements that can be used to form models. We use this in two computed examples to give stacking predictors that are (i) data driven, (ii) optimal with respect to the number of component predictors, and (iii) optimal with respect to the weight each predictor gets.

연구 동기 및 목표

• M-complete 및 M-open 통계적 설정에서 스태킹을 베이지안 최적 절차로 공식화하기.
• 스태킹 가중치에 대한 전통적 제약 조건(양수성 및 합이 1이 되는 것)을 완화하여 보다 일반적인 적용 가능성을 확보하기.
• 부트스트랩으로 생성된 경험 기저 요소를 활용해 데이터 기반의 예측자 선택 및 가중치 조정 방법을 개발하기.
• 스태킹 오차가 모델의 스트레칭(stretch)에만 의존하므로 모델 무관 최적화가 가능함을 보여주기.
• 예측 모델링에서 교차검증을 사후 기대 손실 최소화의 대체 방법으로 사용하는 데 이론적 정당성을 제공하기.

제안 방법

• 교차검증의 한 종류인 떼어내기 교차검증(leave-one-out cross-validation)을 통해 사후 기대 손실 최소화와 스태킹 가중치 최적화 사이의 점점 증가하는 등가성을 유도한다.
• 양수성 및 합이 1이 되는 요구 조건을 제거하여 표준 스태킹 가중치 제약 조건을 완화함으로써 더 유연한 최적화를 가능하게 한다.
• 후보 모델의 스트레칭을 나타내는 경험 기반 기저 요소를 생성하기 위해 부트스트랩 리샘플링을 사용함으로써 데이터 기반의 모델 구성이 가능해진다.
• 정리 3.7을 적용하여 스태킹 오차가 모델의 스트레칭에만 의존하고 특정 기저에 따라 달라지지 않음을 보여준다.
• 힐베르트 공간에서의 정규직교 분해 및 사영 이론을 활용하여 동일한 모델 스트레칭에 대해 서로 다른 기저에서 최소 스태킹 오차가 동일함을 증명한다.
• 유도력, 잔차 및 예측값 간의 관계를 이용해 특정 가정 하에 스태킹 가중치의 닫힌 형태 표현식을 도출한다.

실험 결과

연구 질문

• RQ1 스태킹은 M-complete 및 M-open 설정에서 베이지안 최적 절차로 공식화될 수 있는가?
• RQ2 스태킹 가중치에 대한 제약 조건을 완화함(양수성 또는 합이 1이 되는 조건 없음)하면 예측 성능 및 이론적 성질에 어떤 영향을 미치는가?
• RQ3 모델 스트레칭이 스태킹 오차를 결정하는 데 어떤 역할을 하는가? 이를 최적의 예측자 구성에 어떻게 활용할 수 있는가?
• RQ4 부트스트랩 기반 경험 기저 요소는 스태킹에서 구성 예측자들의 선택 및 가중치 조정을 향상시킬 수 있는가?
• RQ5 예측 모델링에서 떼어내기 교차검증(leave-one-out cross-validation)은 사후 기대 손실 최소화를 얼마나 잘 근사하는가?

주요 결과

• 스태킹 가중치는 점점 증가함에 따라 사후 기대 손실을 최소화하며, 이는 M-complete 문제에서 교차검증을 베이지안 최적 절차로 간주하는 데 이론적 정당성을 제공한다.
• 스태킹 오차는 사용된 특정 기저에 따라 달라지지 않고 오직 모델의 스트레칭에만 의존하므로, 모델 선택과 기저 표현 방식 간의 분리가 가능하다는 것을 의미한다.
• 유도력 값이 점점 증가함에 따라 0에 수렴할 경우, 잔차 및 예측 구조가 대칭일 때 스태킹 가중치는 각각 1/2로 수렴한다.
• 합이 2가 되는 조건이 있을 경우, 각 모델의 예측 분산이 동일하면 가중치는 1로 수렴하여 제약 조건 변화에 대한 적응성을 보여준다.
• 동일한 모델 스트레칭에 대해 서로 다른 정규직교 기저에서 최소 스태킹 오차가 동일하므로 이론적으로 강건함을 입증한다.
• 이론적 결과는 떼어내기 k개의 교차검증(leave-k-out cross-validation)으로도 확장되며, 교차검증의 베이지안 정당성의 보다 넓은 적용 가능성을 뒷받침한다.