[논문 리뷰] High-dimensional Varying Index Coefficient Models via Stein's Identity

Sen Na, Zhuoran Yang외 2명|arXiv (Cornell University)|2018. 10. 16.

Random Matrices and Applications참고 문헌 44인용 수 9

한 줄 요약

이 논문은 스틴의 항등식을 활용하여 알려지지 않은 링크 함수를 추정할 필요 없이 고차원 변동 인덱스 계수 모형을 계산적으로 효율적으로 추정하는 방법을 제안한다. 이 방법은 약한 모멘트 조건 하에서 최적(로그 인자까지)의 통계 수렴 속도를 달성하며, 헤비테일 데이터에 대해 희소하거나 저질서 계수 행렬을 갖는 경우에도 강건한 추정이 가능하다.

ABSTRACT

We study the parameter estimation problem for a varying index coefficient model in high dimensions. Unlike the most existing works that iteratively estimate the parameters and link functions, based on the generalized Stein's identity, we propose computationally efficient estimators for the high-dimensional parameters without estimating the link functions. We consider two different setups where we either estimate each sparse parameter vector individually or estimate the parameters simultaneously as a sparse or low-rank matrix. For all these cases, our estimators are shown to achieve optimal statistical rates of convergence (up to logarithmic terms in the low-rank setting). Moreover, throughout our analysis, we only require the covariate to satisfy certain moment conditions, which is significantly weaker than the Gaussian or elliptically symmetric assumptions that are commonly made in the existing literature. Finally, we conduct extensive numerical experiments to corroborate the theoretical results.

연구 동기 및 목표

• 표본 크기보다 설명변수의 수가 많은 고차원 변동 인덱스 계수 모형에 대해 계산적으로 효율적인 추정기 개발
• 반복적으로 알려지지 않은 링크 함수를 추정하는 것 없이 계수 행렬을 추정함으로써 고차원에서 계산적으로 비가능한 문제 해결
• 가장 최소한의 분포 가정 하에서 최적의 통계 수렴 속도를 달성함(예: 정규분포나 타원대칭성 등의 강한 가정이 필요 없음)
• 이론적 보장이 있는 통합 프레임워크 내에서 희소성과 저질서 계수 행렬의 구조를 동시에 다룸

제안 방법

• 스티븐의 일반화된 항등식을 활용하여 비모수 링크 함수 추정이 필요 없는 추정 방정식을 구성함
• 스티븐의 항등식에서 유도된 스코어 함수를 사용하여 정규화된 최소제곱 회귀 문제로 추정 문제를 재구성함
• 희소성 유도 또는 저질서 정규화(예: L1 또는 노르멀 노름)를 계수 행렬에 적용하여 고차원 추정 가능하게 함
• 헤비테일 코Variates를 다루기 위해 잘라내기 방법을 적용하고, 약한 모멘트 조건 하에서 이론적 보장을 확립함
• 결과로 생기는 볼록 최적화 문제를 해결하여 계산적으로 다룰 수 있고 통계적으로 일致한 추정기 확보함
• 두 단계 절차를 활용: 첫 번째로 경험 모멘트를 사용하여 스코어 함수를 구성하고, 두 번째로 볼록 이완을 통해 계수 행렬을 추정함

실험 결과

연구 질문

• RQ1 알려지지 않은 링크 함수를 추정하지 않고도 고차원 변동 인덱스 계수 모형을 효율적으로 추정할 수 있는가?
• RQ2 희소성 또는 저질서 계수 행렬일 때 약한 모멘트 조건 하에서 달성 가능한 통계 수렴 속도는 무엇인가?
• RQ3 기존의 반복 절차와 비교해 볼 때, 제안된 방법은 헤비테일 또는 비정규 분포를 가진 설명변수에 대해 어떻게 성능을 보이는가?
• RQ4 강한 분포 가정이 필요 없이 고차원 환경에서 최소한의 최적성(로그 인자까지)을 달성할 수 있는가?
• RQ5 합성 및 실세계 데이터에서 차원과 표본 크기가 증가함에 따라 방법의 스케일링 성능은 어떻게 되는가?

주요 결과

• 제안된 추정기는 희소 계수 행렬에 대해 최적의 통계 수렴 속도를 달성하며, 로그 인자까지 고려함
• 저질서 계수 행렬의 경우 추정기는 근사적으로 최적이며, 최소한의 하한선과 로그 인자까지 일치하는 수렴 속도를 보임
• 설명변수에 대한 모멘트 조건 이외의 추가 가정이 없어도 방법이 유효하여 이전 연구에서 흔히 사용되는 정규분포나 타원대칭성 가정을 크게 완화함
• 추정기는 볼록 최적화 문제를 통해 계산 가능하여 계산적으로 다룰 수 있고 반복 절차의 비볼록성 문제를 피함
• 수치 실험 결과 이론적 결과를 확인하였으며, 다양한 링크 함수와 헤비테일 분포(예: t, 레일라이프, 위부일 분포)에서도 일관된 성능 보임
• 모형 오스펙리피케이션에 대해 강건하며, 특히 차원에 비해 표본 수가 적은 경우에도 뛰어난 유한표본 성능 유지함