[논문 리뷰] Positive-shrinkage and Pretest Estimation in Multiple Regression: A Monte Carlo study with Applications

SM Enayetur Raheem, S. Ejaz Ahmed|arXiv (Cornell University)|2011. 09. 12.

Advanced Statistical Methods and Models참고 문헌 13인용 수 4

한 줄 요약

이 논문은 다중 선형 회귀에서 비정보성 있는 공변수에 대한 우선 정보가 불확실할 경우, 양의 수축 추정기와 사전 검정 추정기의 성능을 비교한다. 몬테카를로 시뮬레이션과 실제 데이터를 통해, 양의 수축 추정기는 우선 정보의 불확실성 정도에 관계없이 안정적인 성능을 유지하며, 특히 부정확한 부분집합이 클 경우 사전 검정 추정기와 비제한 최대우도 추정기보다 뛰어난 성능을 보임을 보여준다.

ABSTRACT

Consider a problem of predicting a response variable using a set of covariates in a linear regression model. If it is \emph{a priori} known or suspected that a subset of the covariates do not significantly contribute to the overall fit of the model, a restricted model that excludes these covariates, may be sufficient. If, on the other hand, the subset provides useful information, shrinkage method combines restricted and unrestricted estimators to obtain the parameter estimates. Such an estimator outperforms the classical maximum likelihood estimators. Any \emph{prior} information may be validated through preliminary test (or pretest), and depending on the validity, may be incorporated in the model as a parametric restriction. Thus, pretest estimator chooses between the restricted and unrestricted estimators depending on the outcome of the preliminary test. Examples using three real life data sets are provided to illustrate the application of shrinkage and pretest estimation. Performance of positive-shrinkage and pretest estimators are compared with unrestricted estimator under varying degree of uncertainty of the prior information. Monte Carlo study reconfirms the asymptotic properties of the estimators available in the literature.

연구 동기 및 목표

• 비정보성 공변수에 대한 우선 정보가 불확실할 경우 다중 회귀에서 양의 수축 추정기와 사전 검정 추정기의 성능 평가.
• 우리가 관찰하는 우선 정보의 불확실성 정도에 따라 이들 추정기와 비제한 최대우도 추정기 간의 비교.
• 모형 오특사용을 고려하여 몬테카를로 시뮬레이션을 통해 이들 추정기의 강건성 평가.
• 다양한 공변수 구조를 가진 세 가지 실제 데이터 예제를 통해 실용적 적용 가능성 입증.
• 진짜 모수 값이 제한 모형 가정에서 벗어날 경우 추정기 간 상대적 위험 성능 조사.

제안 방법

• 일부 공변수를 사전에 비정보성으로 간주하는 선형 회귀 모형을 사용하여 제한 모형을 구성.
• 음수 계수 추정을 방지하기 위해 수축 계수를 통해 비제한 추정기와 제한 추정기를 조합하는 양의 수축 추정법 적용.
• 부분 집합 계수들이 0이라는 귀무가설을 검정하기 위한 사전 F검정을 기반으로 제한 추정기와 비제한 추정기 중 하나를 선택하는 사전 검정 추정법 사용.
• 위험 성능 평가를 위해 귀무가설에서의 벗어남 정도(Δ로 매개변수화)를 변화시킨 몬테카를로 시뮬레이션 수행.
• 모형 오특사용 하에서 추정기의 상대 평균제곱오차(RMSE)를 비제한 추정기 대비 계산하여 성능 평가.
• 실제 데이터 세트에서 반복 교차검증을 통해 예측 오차를 추정하고 추정기 성능을 실증적으로 검증.

실험 결과

연구 질문

• RQ1 우선 정보의 불확실성 정도가 변화할 때, 양의 수축 추정기와 사전 검정 추정기는 비제한 추정기 대비 위험 성능에서 어떻게 비교되는가?
• RQ2 진짜 모수 값이 제한 모형에서 벗어날 경우(Δ > 0), 제한 추정기, 사전 검정 추정기, 양의 수축 추정기의 행동은 어떠한가?
• RQ3 부정확한 공변수 부분집합의 크기가 추정기 간 상대 성능에 어떤 영향을 미치는가?
• RQ4 우선 정보가 잘못되었을 경우, 양의 수축 추정기가 사전 검정 추정기를 능가하는 조건은 무엇인가?
• RQ5 알려진 또는 의심되는 비정보성 공변수를 가진 실제 데이터 응용에서 추정기의 성능은 어떠한가?

주요 결과

• 우선 정보가 올바를 경우(Δ = 0), 점근적 이론에 따라 제한 추정기가 비제한 추정기보다 성능이 뛰어나다.
• Δ가 증가함에 따라(즉, 진짜 모수가 제한 모형에서 벗어남) 제한 추정기의 위험은 무한히 증가한다.
• Δ가 증가함에 따라 사전 검정 추정기의 위험은 제한 추정기보다 더 빠르게 증가하며, 모형 오특사용 하에서는 무한해진다.
• 양의 수축 추정기는 가장 안정적인 위험 성능을 보이며, Δ 증가에 따라 위험 감소 속도가 가장 느리고, 다양한 대안 모수 공간에서 낮은 위험을 유지한다.
• 부정확한 부분집합이 클 경우, 양의 수축 추정기는 RMSE 측면에서 사전 검정 추정기와 비제한 추정기 모두를 일관되게 능가한다.
• 실제 데이터 응용에서, 모형이 정확하게 지정된 경우 사전 검정 추정기와 제한 추정기는 예측 오차 성능이 뛰어나지만, 오특사용 하에서는 성능이 급격히 떨어지며, 양의 수축 추정기와는 달리 그러한 성능 저하를 보인다.