[논문 리뷰] Adaptive post-Dantzig estimation and prediction for non-sparse "large $p$ and small $n$" models

Lu Lin, Lixing Zhu외 1명|arXiv (Cornell University)|2010. 08. 07.

Statistical Methods and Inference참고 문헌 19인용 수 3

한 줄 요약

이 논문은 모형 희박성 가정이 성립하지 않는 비희박한 고차원 모형($p$가 크고 $n$이 작음)에 대해 적응형 후-Dantzig 추정을 제안한다. 기존 방법은 이러한 조건에서 성능을 발휘하지 못하지만, 본 방법은 Dantzig 선택기와 비모수적 조정, 그리고 도구변수를 조합함으로써 비희박성 조건 하에서도 일致하고 점근적으로 정규분포를 따르는 추정을 가능하게 하여, 고전적 방법(예: 가우시안 Dantzig 선택기)보다 예측 정확도를 크게 향상시킨다.

ABSTRACT

For consistency (even oracle properties) of estimation and model prediction, almost all existing methods of variable/feature selection critically depend on sparsity of models. However, for ``large $p$ and small $n$" models sparsity assumption is hard to check and particularly, when this assumption is violated, the consistency of all existing estimations is usually impossible because working models selected by existing methods such as the LASSO and the Dantzig selector are usually biased. To attack this problem, we in this paper propose adaptive post-Dantzig estimation and model prediction. Here the adaptability means that the consistency based on the newly proposed method is adaptive to non-sparsity of model, choice of shrinkage tuning parameter and dimension of predictor vector. The idea is that after a sub-model as a working model is determined by the Dantzig selector, we construct a globally unbiased sub-model by choosing suitable instrumental variables and nonparametric adjustment. The new estimation of the parameters in the sub-model can be of the asymptotic normality. The consistent estimator, together with the selected sub-model and adjusted model, improves model predictions. Simulation studies show that the new approach has the significant improvement of estimation and prediction accuracies over the Gaussian Dantzig selector and other classical methods have.

연구 동기 및 목표

• 모형 희박성 가정이 위반되는 비희박한 '큰 $p$, 작은 $n$' 모형에서 기존 추정 방법의 일치성 문제를 해결하기 위해.
• 모형 희박성, 조정 파rameter 선택, 차원 수에 관계없이 추정 일치성과 점근 정규성 추정을 달성하기 위한 방법을 개발하기 위해.
• Dantzig 선택기로 선택된 작업 모형의 편향을 보정하여 추정 및 예측 정확도를 향상시키기 위해.
• 희박성에 의존하지 않는 초고차원 회귀에서의 일致한 추론 프레임워크를 수립하기 위해.

제안 방법

• Dantzig 선택기를 통해 차원을 감소시키기 위한 작업 부분모형을 선택함으로써 방법을 시작한다.
• 초기 선택에서 발생하는 편향을 보정하기 위해 도구변수를 도입하여 전역적으로 비편향된 부분모형을 구축한다.
• 선택된 부분모형에 대해 도구변수 기반의 저차원 비모수적 추정을 활용해 비모수적 조정을 적용한다.
• 비모수적 조정과 도구변수 구조를 통합한 보정된 추정식을 해결함으로써 최종 추정량을 도출한다.
• 정규성 조건 하에서, 파라미터 벡터의 차원 $q$가 표본 크기와 함께 증가하는 경우에도 점근 정규성과 $\ell_2$ 일치성이 확립된다.
• 본 방법은 비희박성, 조정 파rameter 선택, 차원 수에 적응하여 다양한 고차원 설정에서 강건한 성능을 보장한다.

실험 결과

연구 질문

• RQ1 희박성 가정이 실패하는 비희박한 '큰 $p$, 작은 $n$' 모형에서 일치하고 점근적으로 정규분포를 따르는 추정이 달성될 수 있는가?
• RQ2 Dantzig 선택기의 작업 모형에서 발생하는 편향은 어떻게 보정하여 추정 및 예측 정확도를 향상시킬 수 있는가?
• RQ3 도구변수와 비모수적 조정이 비희박성 조건 하에서 일치성 달성에 어떻게 기여하는가?
• RQ4 모수의 수 $q$가 표본 크기와 함께 증가할 경우에도 제안된 방법이 일치성과 점근 정규성을 유지하는가?
• RQ5 비희박 설정에서 고전적 방법들과 비교해 본 방법의 성능은 어떠한가?

주요 결과

• 고정된 $q$ 하에서 제안된 적응형 후-Dantzig 추정량은 $\|\hat{\theta} - \theta\|_{{\ell}_2}^2 = O_p(n^{-1})$를 만족하여 $\ell_2$ 일치성을 확보한다.
• 정규성 조건 하에서, 파라미터 벡터의 차원 $q$가 표본 크기와 함께 발산하더라도 추정량은 점근적으로 정규분포를 따른다.
• 시뮬레이션 연구에서 가우시안 Dantzig 선택기 및 기타 고전적 방법들보다 추정 및 예측 정확도에서 뚜렷한 향상을 보였다.
• 도구변수 기반의 비모수적 조정은 전역적으로 비편향된 추정을 가능하게 하여 Dantzig 선택기의 작업 모형이 내재한 편향을 보정한다.
• 비희박성, 조정 파arameter 선택, 차원 수에 적응하여 다양한 고차원 설정에서 강건한 성능을 보인다.
• 이론적 결과는 추정 오차가 $O_p(h^k + 1/\sqrt{nh^{2(d+1)}}) + O_p(n^{-\mu})$로 유계임을 확인하였으며, 최적의 밴드위드 선택으로 $O_p(n^{-k/(2(k+d+1))})$ 수렴 속도를 달성한다.