[논문 리뷰] Finite sample analysis of profile M-estimation in the Single Index model

Andreas Andresen|arXiv (Cornell University)|2014. 06. 16.

Financial Risk and Volatility Modeling참고 문헌 23인용 수 5

한 줄 요약

이 논문은 단일지수모형에서 알려지지 않은 연결함수를 근사하기 위해 C³-콤팩트 지지를 가진 다우브시 웨이브릿을 사용하는 유한표본 분석을 제시한다. 비점근적 신뢰구간을 수립하고, 유한표본 위르스키 및 파이셔 전개를 증명하며, 미약한 규칙성 및 모멘트 조건 하에서 교차 최대화 알고리즘의 전역 수렴성을 보이며, 이를 보조적으로 비점근적 경계를 제시한다.

ABSTRACT

We apply the results of Andresen A. and Spokoiny V. on profile M-estimators and the alternating maximization procedure to analyse a sieve profile quasi maximum likelihood estimator in the single index model with linear index function. The link function is approximated with \(C^3\)-Daubechies-wavelets with compact support. We derive results like Wilks phenomenon and Fisher Theorem in a finite sample setup. Further we show that an alternation maximization procedure converges to the global maximizer and assess the performance of a projection pursuit procedure in that context. The approach is based on showing that the conditions of Andresen A. and Spokoiny V. on profile M-estimators and the alternating maximization procedure can be satisfied under a set of mild regularity and moment conditions on the index function, the regressors and the additive noise. This allows to construct nonasymptotic confidence sets and to derive asymptotic bounds for the estimator as corollaries.

연구 동기 및 목표

• 점근적 근사에서 벗어나 단일지수 모형에서의 프로파일 M-추정에 대한 유한표본 이론을 개발하기 위해.
• 미약한 규칙성 및 모멘트 조건 하에서 추정량에 대한 비점근적 신뢰구간과 유한표본 경계를 수립하기 위해.
• 프로파일 우도의 전역 최대화자에 수렴하는 교차 최대화 절차의 수렴성을 증명하기 위해.
• 단일지수 추정의 맥락에서 투영 추적 절차의 성능을 평가하기 위해.
• 클래식한 점근적 결과들, 예를 들어 위르스키 현상과 파이셔 정보 전개의 유한표본 대응을 도출하기 위해.

제안 방법

• 알려지지 않은 연결함수를 근사하기 위해 C³-콤팩트 지지를 가진 다우브시 웨이브릿을 사용하는 시브 프로파일 준최대우도 추정량을 사용한다.
• 웨이브릿 시브 근사에서 추정 오차와 편향을 제어하기 위해 유한표본 농도 및 대규모 이탈 부등식을 적용한다.
• 색인 벡터와 연결함수를 반복적으로 추정하기 위해 교차 최대화 알고리즘을 사용하며, 그 수렴성이 전역 최대화자에 도달함을 증명한다.
• 프로파일 스코어와 헤시안에 대한 유한표본 전개를 유도하여, 유한표본에서의 위르스키 및 파이셔 정리의 대응을 확립한다.
• 유한표본 이론을 [1]과 [3]에서 빌려와, 색인, 회귀변수 및 오차항에 대한 미약한 규칙성 및 모멘트 조건 하에서 그 조건들이 만족됨을 검증한다.
• 프로파일 우도의 쌍대 표현을 사용하고, 행렬 농도 부등식(예: [23]의 정리 6.29)을 적용하여 추정 함수의 헤시안을 제어한다.

실험 결과

연구 질문

• RQ1 단일지수 모형에서 위르스키 현상과 파이셔 정보 전개를 유한표본에서 어떻게 확립할 수 있는가?
• RQ2 프로파일 M-추정에 대한 교차 최대화 절차가 전역 최대화자로 수렴하는 조건은 무엇인가?
• RQ3 단일지수 모형에서 색인 벡터와 연결함수에 대해 어떤 비점근적 신뢰구간을 구성할 수 있는가?
• RQ4 웨이브릿 근사에서 발생하는 시브 편향은 추정량의 유한표본 성능에 어떤 영향을 미치는가?
• RQ5 유한표본 이론의 타당성을 보장하기 위해 필요한 모멘트 및 부드러움 조건는 무엇인가?

주요 결과

• 논문은 단일지수 모형에서 프로파일 M-추정량에 대해 유한표본 위르스키 현상과 파이셔 전개를 확립하여, 고전적인 점근적 결과의 비점근적 대응을 제공한다.
• 색인 벡터와 연결함수를 추정하기 위한 교차 최대화 절차는 미약한 규칙성 및 모멘트 조건 하에서 프로파일 우도의 전역 최대화자로 수렴한다.
• 유한표본 분포를 기반으로 프로파일 스코어의 비점근적 신뢰구간을 구성할 수 있으며, 농도 부등식을 통해 신뢰도를 제어할 수 있다.
• 웨이브릿 근사에서 발생하는 시브 편향은 연결함수의 부드러움과 웨이브릿 계수의 감쇠 특성에 의해 유한하게 제어되며, 이 경계는 표본 크기와 색인 공간의 차원에 따라 달라진다.
• 추정량의 수렴 속도는 주어진 조건 하에서 최적임이 입증되었으며, 편향이 무시할 만큼 작을 경우 주요 오차 항은 O(√(p*³ / n))로 감소하고, 편향이 존재할 경우 O(√(p*³ log n / n))로 감소한다.
• 추정 함수의 유한표본 헤시안은 행렬 농도를 통해 제어되며, 이는 곡률가 높은 확률로 잘 조절됨을 보장하여 추론 절차의 타당성을 뒷받침한다.