[논문 리뷰] Efficient Estimation in Convex Single Index Models

Arun Kumar Kuchibhotla, Rohit K. Patra외 1명|arXiv (Cornell University)|2017. 08. 01.

Statistical Methods and Inference인용 수 9

한 줄 요약

이 논문은 모른 채로 알려진 볼록 링크 함수를 가진 단일 인덱스 모형에 대해 볼록성과 리프시츠 조건을 갖춘 최소제곱 추정기(CLSE)를 제안한다. 이는 약한 모멘트 조건 하에서 파arametric 및 비모수 성분을 효율적으로 추정할 수 있도록 한다. 오차 항이 $q \geq 5$ 모멘트를 가지며 동분산성을 띠는 조건 하에서 $n^{-1/2}$-속도의 점근 정규성과 반모수 효율성을 확립하였으며, R 패키지 simest에 구현된 안정적인 계산 알고리즘이 존재한다.

ABSTRACT

We consider estimation and inference in a single index regression model with an unknown convex link function. We introduce a convex and Lipschitz constrained least squares estimator (CLSE) for both the parametric and the nonparametric components given independent and identically distributed observations. We prove the consistency and find the rates of convergence of the CLSE when the errors are assumed to have only $q \ge 2$ moments and are allowed to depend on the covariates. When $q\ge 5$, we establish $n^{-1/2}$-rate of convergence and asymptotic normality of the estimator of the parametric component. Moreover, the CLSE is proved to be semiparametrically efficient if the errors happen to be homoscedastic. {We develop and implement a numerically stable and computationally fast algorithm to compute our proposed estimator in the R package~ exttt{simest}}. We illustrate our methodology through extensive simulations and data analysis. Finally, our proof of efficiency is geometric and provides a general framework that can be used to prove efficiency of estimators in a wide variety of semiparametric models even when they do not satisfy the efficient score equation directly.

연구 동기 및 목표

• 알 수 없는 볼록 링크 함수를 가진 단일 인덱스 모형에 대해 계산적으로 안정적이고 효율적인 추정기를 개발한다.
• 오차 항의 모멘트 조건이 약한 경우($q \geq 2$)에도 추정기의 일致성과 수렴 속도를 확립한다.
• 오차 항이 $q \geq 5$ 모멘트를 가지는 조건 하에서 파arametric 성분 추정기의 점근 정규성과 반모수 효율성을 증명한다.
• 효율 스코어 방정식을 만족하지 않는 모형에 대해서도 반모수 모형에서 효율성을 증명하기 위한 기하학적 프레임워크를 제공한다.
• 실제 응용을 위해 수치적으로 안정적인 알고리즘을 개발하며, 이를 R 패키지 simest에 구현한다.

제안 방법

• 파arametric 인덱스 벡터와 비모수 성분인 볼록 링크 함수를 동시에 추정하기 위해 볼록성과 리프시츠 제약 조건을 부여한 최소제곱 추정기(CLSE)를 제안한다.
• 추정기의 규칙성과 유일성을 확보하기 위해 링크 함수에 볼록성과 리프시츠 조건을 도입한다.
• 제약 조건이 있는 경험 위험 최소화를 통해 CLSE를 유도하며, $q \geq 2$ 모멘트 조건 하에서도 일치성을 확보한다.
• 직접 효율 스코어 방정식을 검증할 필요 없이 기하학적 접근을 통해 반모수 효율성을 증명한다.
• CLSE를 계산하는 데 수치적으로 안정적인 알고리즘을 개발하였으며, 실용적 적용을 위해 R 패키지 simest에 구현하였다.
• 비모수 성분을 다룰 때 볼록성과 리프시츠 성질을 유지하면서도 스무딩과 투영 기법을 활용한다.

실험 결과

연구 질문

• RQ1 알 수 없는 볼록 링크 함수를 가진 단일 인덱스 모형에서 볼록성과 리프시츠 제약 조건이 붙은 최소제곱 추정기(CLSE)가 $n^{-1/2}$-속도 수렴과 점근 정규성을 달성할 수 있는가?
• RQ2 오차 항이 $q \geq 2$ 모멘트만을 가지며 이방분산성을 띠는 경우 CLSE의 수렴 속도는 어떻게 되는가?
• RQ3 CLSE가 반모수적으로 효율해지는 조건은 무엇이며, 특히 오차 항이 동분산성을 띠는 경우는 어떠한가?
• RQ4 효율 스코어 방정식을 만족하지 않는 반모수 모형에 대해서도 기하학적 프레임워크를 통해 효율성을 증명할 수 있는가?
• RQ5 실제 세계 데이터 분석에 적용하기 위해 CLSE를 효율적이고 안정적으로 계산할 수 있는 방법은 무엇인가?

주요 결과

• CLSE는 약한 모멘트 조건 하에서도 일치성과 수렴 속도를 확보하며, $q \geq 2$ 모멘트가 충분하다.
• 오차 항이 $q \geq 5$ 모멘트를 가지는 조건 하에서 파arametric 성분 추정기는 $n^{-1/2}$-속도의 수렴 속도를 가지며 점근 정규성을 만족한다.
• 오차 항이 동분산성을 띠는 한, CLSE는 효율 스코어 방정식을 직접 만족하지 않더라도 반모수적으로 효율적이다.
• 논문에서 개발한 기하학적 증명 프레임워크는 현재 설정을 넘어서 다른 반모수 모형에도 일반화 가능하다.
• CLSE를 위한 수치적으로 안정적이고 계산적으로 효율적인 알고리즘이 개발되었으며, R 패키지 simest에 구현되어 있다.
• 광범위한 시뮬레이션과 데이터 분석을 통해 추정기의 유연성과 실용적 유용성이 유한 표본에서도 확인되었다.