[논문 리뷰] Least squares estimation in the monotone single index model

Fadoua Balabdaoui, Cécile Durot외 1명|arXiv (Cornell University)|2016. 10. 19.

Statistical Methods and Inference참고 문헌 20인용 수 10

한 줄 요약

이 논문은 조건부 평균이 선형 지수의 단조 증가 함수로 표현되는 단조 증가 단일 지수 모형에서 최소제곱 추정을 연구한다. 규칙성 조건 하에서 제안된 추정량은 번들링된 함수와 분리된 함수 모두에서 $ L^2 $-노름으로 $ n^{1/3} $ 의 최소최대 최적 수렴 속도를 달성하며, 조각별로 일정한 함수에 대해 속도 적응 가능하다.

ABSTRACT

We study the monotone single index model where a real response variable $Y $ is linked to a $d$-dimensional covariate $X$ through the relationship $E[Y | X] = Ψ_0(α^T_0 X)$ almost surely. Both the ridge function, $Ψ_0$, and the index parameter, $α_0$, are unknown and the ridge function is assumed to be monotone on its interval of support. Under some regularity conditions, without imposing a particular distribution on the regression error, we show the $n^{-1/3}$ rate of convergence in the $\ell_2$-norm for the least squares estimator of the bundled function $ψ_0(α^T_0 \cdot),$ and also that of the ridge function and the index separately. Furthermore, we show that the least squares estimator is nearly parametrically rate-adaptive to piecewise constant ridge functions.

연구 동기 및 목표

• 형태 제약 조건 하에서 완전히 데이터 기반이고 튜닝 파ram터가 없는 단조 증가 단일 지수 모형 추정량을 개발하기 위해.
• 단위 함수와 지수 파ram터에 대한 최소제곱 추정량의 최소최대 최적 수렴 속도를 확립하기 위해.
• 조각별 일정한 단위 함수에 대한 추정량의 속도 적응 성질을 조사하기 위해.
• 다른 지수 추정량을 기반으로 한 플러그인 추정량이 $ n^{1/3} $ 수렴 속도를 보일 수 있음을 보여주기 위해.
• 기본 함수에 대한 단조성과 매끄러움 조건 하에서 최소제곱 추정량의 수렴에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 모형을 $ E[Y|X] = \Psi_0(\alpha_0^T X) $ 로 설정하며, 여기서 $ \Psi_0 $ 는 비감소 함수이고 $ \|\alpha_0\| = 1 $ 이다.
• 형태 제약 조건을 활용하여 튜닝 파ram터가 없는 번들링된 함수 $ \Psi_0(\alpha_0^T \cdot) $ 에 대해 최소제곱 추정을 적용한다.
• empirical process 이론과 엔트로피 경계를 사용하여 함수 클래스의 엔트로피를 제어하고, 엔트로피 적분 방법을 활용한다.
• Donsker 유형 정리와 empirical process 에 대한 최대부등식을 사용하여 수렴 속도를 유도한다.
• van der Vaart 와 Wellner (1996) 의 정리 3.2.5 를 적용하여 엔트로피 조건과 메트릭 엔트로피 조건 하에서 $ n^{1/3} $ 수렴 속도를 도출한다.
• 다른 지수 추정량이 $ n^{1/3} $ 속도로 수렴한다면, 해당 플러그인 최소제곱 추정량 역시 단위 함수에 대해 $ n^{1/3} $ 수렴 속도를 달성한다.

실험 결과

연구 질문

• RQ1 단조 증가 단일 지수 모형에서 단위 함수의 최소제곱 추정량의 최소최대 수렴 속도는 무엇인가?
• RQ2 단조성 제약 조건 덕분에 튜닝 파ram터가 필요 없이 최소제곱 추정량이 $ n^{1/3} $ 수렴 속도를 달성할 수 있는가?
• RQ3 최소제곱 추정량은 조각별 일정한 단위 함수에 대해 속도 적응 가능한가?
• RQ4 다른 지수 추정량을 사용한 플러그인 접근법을 사용할 경우 단위 함수 추정량의 수렴 속도가 여전히 $ n^{1/3} $ 인가?
• RQ5 이 반모수적 모형에서 최소제곱 추정량이 최적 수렴 속도를 달성하기 위한 이론적 조건은 무엇인가?

주요 결과

• 규칙성 조건 하에서 번들링된 단위 함수 $ \Psi_0(\alpha_0^T \cdot) $ 의 최소제곱 추정량은 $ L^2 $-노름으로 $ n^{1/3} $ 의 수렴 속도를 달성한다.
• 동일한 조건 하에서 분리된 단위 함수 $ \Psi_0 $ 와 지수 파ram터 $ \alpha_0 $ 에 대해서도 동일한 $ n^{1/3} $ 수렴 속도를 달성한다.
• 최소제곱 추정량은 조각별 일정한 단위 함수에 대해 거의 파aram트릭 수준의 속도 적응성을 보이며, 함수의 구조에 대한 사전 지식 없이도 $ n^{1/3} $ 수렴 속도를 달성한다.
• 다른 지수 파aram터 $ \alpha_0 $ 의 추정량이 $ n^{1/3} $ 속도로 수렴한다면, 해당 플러그인 최소제곱 추정량 역시 단위 함수에 대해 $ n^{1/3} $ 수렴 속도를 달성한다.
• 제시된 모형 가정 하에서 수렴 속도는 최소최대 최적이며, 추정량은 완전히 데이터 기반이고 튜닝 파ram터가 없다.
• 이론적 보장은 empirical process 이론, 엔트로피 경계, 최대부등식을 사용하여 도출되었으며, 수렴 속도는 Donsker 유형 정리와 엔트로피 적분 방법을 통해 확립되었다.