[논문 리뷰] Semiparametric Efficiency in Convexity Constrained Single Index Model

Arun Kumar Kuchibhotla, Rohit K. Patra외 1명|arXiv (Cornell University)|2017. 08. 01.

Statistical Methods and Inference참고 문헌 55인용 수 4

한 줄 요약

이 논문은 오차의 모멘트 조건이 약한 경우에도 효율적인 추정이 가능한, 비선형 링크 함수가 알려져 있지 않은 단일 인덱스 모델에 대해 볼록성과 리프시츠 조건을 부과한 최소제곱 추정기(CLSE)를 제안한다. 오차의 $q \geq 5$ 모멘트 조건 하에 $n^{-1/2}$-속도의 점근 정규성과 반모수 효율성을 확립하였으며, 표준 효율 점수 조건을 만족하지 않아도 적용 가능한 기하학적 증명 프레임워크를 사용한다.

ABSTRACT

We consider estimation and inference in a single-index regression model with an unknown convex link function. We introduce a convex and Lipschitz constrained least-square estimator (CLSE) for both the parametric and the nonparametric components given independent and identically distributed observations. We prove the consistency and find the rates of convergence of the CLSE when the errors are assumed to have only q≥2 moments and are allowed to depend on the covariates. When q≥5, we establish n−1/2-rate of convergence and asymptotic normality of the estimator of the parametric component. Moreover, the CLSE is proved to be semiparametrically efficient if the errors happen to be homoscedastic. We develop and implement a numerically stable and computationally fast algorithm to compute our proposed estimator in the R package simest. We illustrate our methodology through extensive simulations and data analysis. Finally, our proof of efficiency is geometric and provides a general framework that can be used to prove efficiency of estimators in a wide variety of semiparametric models even when they do not satisfy the efficient score equation directly. Supplementary files for this article are available online.

연구 동기 및 목표

• 링크 함수가 볼록이지만 알려져 있지 않은 경우, 특히 오차의 모멘트 조건이 약한 상황에서도 강건한 추정기를 개발하는 것.
• 오차의 $q \geq 5$ 모멘트 조건 하에, 파라미터 인덱스 성분에 대한 점근 정규성과 반모수 효율성을 확립하는 것.
• simest R 패키지를 통해 구현 가능한 수치적으로 안정적이고 계산적으로 효율적인 알고리즘을 제공하는 것.
• 효율 점수 방정식을 직접 만족시키지 않는 모델에 대해서도 반모수 효율성을 증명하기 위한 일반적인 기하학적 프레임워크를 제공하는 것.

제안 방법

• 파라미터 인덱스 벡터와 비모수적 볼록 링크 함수를 동시에 추정하는 볼록성 및 리프시츠 제약을 부과한 최소제곱 추정기(CLSE)를 제안한다.
• 링크 함수에 볼록성과 리프시츠 조건을 도입하여 형태 제약 추정과 안정성을 확보한다.
• 전후 교대 최소화 알고리즘을 사용하여 CLSE를 효율적으로 계산하며, 중복되거나 근접한 인덱스 값으로 인한 조건수 악화를 방지하기 위해 사전 분할(pre-binning)을 적용한다.
• 비유계 및 꼬리 무거운 오차를 다루기 위해 $q \geq 2$ 모멘트 조건 하에서도 적용 가능한 새로운 최대부등식을 도출한다.
• 효율성 증명을 위해 기하학적 전략을 사용하여 효율 점수 방정식에 의존하지 않는 방식으로 반모수 효율성을 확립한다.
• 실제 적용을 위해 수치적으로 안정적이고 계산적으로 효율적인 알고리즘을 개발하고 R 패키지 simest에 구현한다.

실험 결과

연구 질문

• RQ1 오차의 $q \geq 5$ 모멘트 조건만을 만족할 때, 볼록성 및 리프시츠 제약을 부과한 최소제곱 추정기(CLSE)가 파라미터 인덱스 성분에 대해 $n^{-1/2}$-속도 수렴과 점근 정규성을 달성할 수 있는가?
• RQ2 오차가 동분산일 경우, 표준 효율 점수 방정식을 만족하지 않더라도 제안된 CLSE가 반모수적으로 효율적인가?
• RQ3 효율 점수 방정식이 직접 제공되지 않는 반모수 모델에 대해 기하학적 접근 방식을 어떻게 일반화할 수 있는가?
• RQ4 이상치나 꼬리가 두꺼운 오차가 존재할 경우, CLSE의 유한 표본 성능과 계산 가능성은 어떠한가?
• RQ5 특히 $q \geq 5$ 조건 하에서, 주어진 정규성 조건 하에 CLSE가 최소최대 속도 최적성을 달성할 수 있는가?

주요 결과

• 오차의 $q \geq 5$ 모멘트 조건 하에, CLSE는 파라미터 인덱스 성분에 대해 $n^{-1/2}$-속도 수렴과 점근 정규성을 달성한다.
• 오차가 동분산일 경우, CLSE는 반모수적으로 효율적이며, 점근 분산은 효율 정보 행렬의 무회귀역행렬(Moore-Penrose inverse)과 같다.
• 효율성 증명은 기하학적이며 일반화 가능하여, 효율 점수 방정식에 의존하지 않는 반모수 모델의 효율성 증명을 위한 새로운 프레임워크를 제공한다.
• 오차의 $q \geq 5$ 조건 하에 CLSE는 최소최대 속도 최적성을 확보한다. 이는 부록 S.6에서 최소최대 하한을 유도하여 입증되었다.
• simest R 패키지에 구현된 알고리즘은 중복되거나 근접한 인덱스 값이 존재하더라도 수치적으로 안정적이고 계산적으로 효율적이다.
• 비유계 및 꼬리가 두꺼운 오차를 다루기 위해 새로운 최대부등식이 유도되었으며, 이는 $q \geq 2$ 모멘트 조건 하에서도 수렴성을 보장하기 위해 필수적이다.