[논문 리뷰] Inference In High-dimensional Single-Index Models Under Symmetric Designs

Hamid Eftekhari, Moulinath Banerjee외 1명|arXiv (Cornell University)|2019. 09. 08.

Statistical Methods and Inference참고 문헌 37인용 수 8

한 줄 요약

이 논문은 타원형 대칭 하에서 고차원 단일색인 모형에 대해 알려지지 않은 링크 함수를 직접 추정하지 않고 모형을 대체 선형 모형으로 재구성함으로써 비편향 추론 방법을 제안한다. 이 방법은 회귀 계수 추정치에 대해 $√n$-일致성과 점근 정규성을 달성하며, 가우시안 조건 하에서는 헤르미트 다항식 전개를 통해 효율성이 향상된다.

ABSTRACT

The problem of statistical inference for regression coefficients in a high-dimensional single-index model is considered. Under elliptical symmetry, the single index model can be reformulated as a proxy linear model whose regression parameter is identifiable. We construct estimates of the regression coefficients of interest that are similar to the debiased lasso estimates in the standard linear model and exhibit similar properties: root-n-consistency and asymptotic normality. The procedure completely bypasses the estimation of the unknown link function, which can be extremely challenging depending on the underlying structure of the problem. Furthermore, under Gaussianity, we propose more efficient estimates of the coefficients by expanding the link function in the Hermite polynomial basis. Finally, we illustrate our approach via carefully designed simulation experiments.

연구 동기 및 목표

• 링크 함수가 알려져 있지 않거나 비정규일 수 있는 고차원 단일색인 모형에서 회귀 계수에 대한 통계적 추론의 과제를 해결한다.
• 설계 행렬의 타원형 대칭성을 활용하여 고차원 환경에서 링크 함수의 식별성 및 추정 곤란 문제를 해결한다.
• 링크 함수의 미분 가능성이나 연속성 조건 없이도 인덱스 계수 벡터에 대해 $√n$-일치하고 점근 정규적인 추론을 달성하는 방법을 개발한다.
• 가우시안 설계 조건 하에서 링크 함수를 헤르미트 다항식 기저로 전개하여 추정 효율성을 향상시킨다.
• 비모수 링크 함수 추정의 계산적 및 이론적 부담을 피하는 유효한 추론 프레임워크를 제공한다.

제안 방법

• 타원형 대칭 조건 하에서 단일색인 모형을 대체 선형 모형으로 재구성함으로써 링크 함수 추정 없이도 인덱스 계수 벡터를 식별할 수 있도록 한다.
• 표준 고차원 선형 모형에서의 절차를 모방하여 회귀 계수에 대한 비편향 라소 유형 추정량을 구축한다.
• 설계의 대칭성을 활용하여 링크 함수에 대한 최소한의 정규성 조건 하에서도 비편향 추정량의 점근 정규성과 $√n$-일치성을 도출한다.
• 가우시안 설계 조건 하에서는 알려지지 않은 링크 함수를 헤르미트 다항식 기저로 전개하여 분산 특성이 향상된 더 효율적인 추정량을 구성한다.
• 희소성과 타원형 대칭 조건 하에서 추정량의 점근 분포를 도출하여 유효한 신뢰구간과 가설 검정을 가능하게 한다.
• 다양한 표본 크기, 희소성, 첨도 조건 하에서 성능을 평가하기 위해 시뮬레이션을 구현하여 다양한 설계 조건 하에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 링크 함수를 추정하지 않고도 고차원 단일색인 모형에서 인덱스 계수 벡터에 대해 유효한 추론을 달성할 수 있는가?
• RQ2 타원형 대칭 조건 하에서 고차원 단일색인 모형에서 비편향 추정량의 점근적 성질은 무엇인가?
• RQ3 링크 함수가 불연속적이거나 비연속일 경우 제안된 방법의 성능은 기존 방법과 비교해 어떻게 되는가?
• RQ4 가우시안 설계 조건 하에서 링크 함수의 헤르미트 다항식 전개가 더 효율적인 추정을 이끌 수 있는가?
• RQ5 모르는 공분산 구조와 알려진 공분산 구조의 차이가 추론 절차의 커버리지 및 선택 정확도에 미치는 영향은 무엇인가?

주요 결과

• 제안된 비편향 추정량은 타원형 대칭 조건 하에서 링크 함수가 불연속일지라도 인덱스 계수 벡터에 대해 $√n$-일치성과 점근 정규성을 확보한다.
• 시뮬레이션 결과, $n=500$ 및 $s=5$ 또는 $10$ 조건에서 진짜 양성 비율(TPR > 0.90)이 높고, 거짓 양성 비율(FPR ≈ 0.04–0.06)이 낮아 강력한 변수 선택 성능을 보였다.
• 모든 구성 조건에서 진짜 계수 집합 $S$의 커버리지 확률이 항상 0.90 이상이었으며, $n=500$일 때 평균 커버리지 $¯{cov}(S) \geq 0.91$이었다.
• 가우시안 설계 조건 하에서는 헤르미트 다항식 기반 추정량이 효율성이 향상되어 평균 신뢰구간 길이 $¯{l}(S) \approx 0.25$로 비가우시안 조건 대비 감소하였다.
• $\Sigma$가 알려져 있지 않을 경우에도 커버리지($\u00af{cov}(S) \geq 0.91$)는 양호했고 FPR은 낮아 공분산 추정 오차에 대한 강건성을 입증하였다.
• 비연속적이거나 비정규적인 링크 함수를 가진 설정에서 기존 방법들은 연속성 가정에 의존하므로 실패하는 반면, 본 방법은 그와 비교해 뚜렷한 성능 우위를 보였다.