[논문 리뷰] Bootstrap tuning in ordered model selection

Vladimir Spokoiny, Niklas Willrich|arXiv (Cornell University)|2015. 07. 17.

Statistical Methods and Inference참고 문헌 21인용 수 4

한 줄 요약

이 논문은 알려지지 않은 이질적 잡음 하에서 노이즈 분산이나 부드러움에 대한 사전 지식 없이, 더 큰 모형에 의해 유의미하게 뒤지지 않는 가장 단순한 모형을 선택하는 데이터 기반의 '가장 작은 수용된'(SmA) 방법을 제안한다. 이 방법은 야생 부트스트랩을 사용하여 조정 파rameter를 校정하며, 노이즈 분산이나 부드러움에 대한 사전 지식 없이 오라클 리스크 경계를 달성한다.

ABSTRACT

In the problem of model selection for a given family of linear estimators, ordered by their variance, we offer a new "smallest accepted" approach motivated by Lepski's method and multiple testing theory. The procedure selects the smallest model which satisfies an acceptance rule based on comparison with all larger models. The method is completely data-driven and does not use any prior information about the variance structure of the noise: its parameters are adjusted to the underlying possibly heterogeneous noise by the so-called "propagation condition" using a wild bootstrap method. The validity of the bootstrap calibration is proved for finite samples with an explicit error bound. We provide a comprehensive theoretical study of the method and describe in detail the set of possible values of the selector \( \hat{m} \). We also establish some precise oracle error bounds for the corresponding estimator \( \hatθ = ildeθ_{\hat{m}} \) which equally applies to estimation of the whole parameter vectors, some subvector or linear mapping, as well as the estimation of a linear functional.

연구 동기 및 목표

• 노이즈 분산이 알려져 있지 않거나 이질적일 때 선형 추정에서 모형 선택의 과제를 해결한다.
• 노이즈 구조나 부드러움에 대한 사전 가정 없이 완전히 데이터 기반의 절차를 개발한다.
• 부트스트랩 校정의 유한 표본 타당성을 보장하는 이론적 보장을 제공하고, 명시적인 오차 경계를 제시한다.
• 전체 모수 벡터, 부분벡터, 선형 사상, 선형 함수형의 추정을 통합한다.
• 최적의 모형을 사전에 안다는 이상적인 방법과 비교해도 유사한 오라클 리스크 경계를 달성한다.

제안 방법

• 더 큰 모형에 의해 유의미하게 뒤지지 않는 가장 작은 모형을 선택하는 '가장 작은 수용된'(SmA) 방법을 제안한다.
• 더 작은 모형의 편향이 더 큰 모형의 편향보다 유의미하게 큰지를 확인하기 위해 모형 간 쌍별 비교를 수행한다.
• 비교 검정의 임계값을 추정하기 위해 야생 부트스트랩을 적용하여 노이즈 분산에 대한 사전 지식 없이도 조정이 가능하도록 한다.
• 최소한의 부드러움 조건(홀더 부드러움 1/4) 하에서도 부트스트랩 조정이 타당함을 보장하기 위해 '전파 조건'을 통합한다.
• 모든 더 큰 모형이 편향 향상의 유의미성에 대한 귀무가설을 기각하지 못하는 가장 작은 인덱스 m로 선택기를 정의한다.
• 선형 투영 추정기와 리스크 분해를 사용하여 총 오차를 편향과 분산 성분의 합으로 표현한다.

실험 결과

연구 질문

• RQ1 노이즈 분산이 알려져 있지 않거나 이질적일 때, 어떻게 데이터 기반의 모형 선택을 수행할 수 있는가?
• RQ2 기반 부트스트랩 조정 절차가 모형 선택에서 명시적인 유한 표본 오차 경계를 확보하는 이론적 타당성을 가지는가?
• RQ3 가장 작은 수용된 모형이 노이즈 구조에 대한 사전 지식 없이도 오라클 리스크 경계를 달성하기 위한 조건은 무엇인가?
• RQ4 진짜 모형이 선형이 아닐 경우, 예를 들어 모형 오류가 있을 경우 이 방법은 어떻게 다루는가?
• RQ5 이 방법은 하나의 프레임워크 안에서 전체 모수, 부분벡터, 선형 함수형, 그리고 투영을 통합적으로 추정할 수 있는가?

주요 결과

• 제안된 부트스트랩 조정은 표본 수가 유한할 때도 타당하며, 조정 품질에 대한 명시적인 오차 경계를 제공한다.
• 선택된 추정기의 경우 오라클 리스크 경계를 달성하며, 최적의 모형을 사전에 안다는 이상적인 방법과 동일한 성능을 보인다.
• 야생 부트스트랩을 사용하여 알려지지 않은 이질적 잡음에 적응적으로 선택 임계값을 조정함으로써 이에 대응한다.
• '전파 조건'은 홀더 부드러움 1/4의 최소 부드러움 조건 하에서도 부트스트랩 기반의 임계값이 타당함을 보장한다.
• 모형 오류가 있을 경우에도 이 방법은 진짜 모형이 선형이 아니더라도 최적의 선형 투영을 적응적으로 선택함으로써 강건성을 확보한다.
• 가장 작은 수용된 모형 선택기는 잘 정의되어 있으며, 이론적 분석에서 가능한 값의 집합이 완전히 특성화되어 있다.