[논문 리뷰] Rates of convergence in conditional covariance matrix with nonparametric entries estimation

Jean–Michel Loubes, Clément Marteau외 1명|arXiv (Cornell University)|2013. 10. 30.

Random Matrices and Applications참고 문헌 32인용 수 5

한 줄 요약

이 논문은 $(\bX, Y)$의 공동 밀도에 대한 부드러움 가정을 활용하여 비모수적 항목을 가진 조건부 공분산 행렬 $\text{Cov}(\bbE[\bX \mid Y])$에 대한 커널 기반 플러그인 추정기법을 제안한다. 규칙성 조건 하에서 프로베니우스 노름에서 파rametric 수렴 속도를 확립하고, $p \to \infty$ 이며 $p > n$ 인 고차원 설정에서 일致성을 확보하기 위해 밴딩 정규화를 도입한다.

ABSTRACT

Let $X\\in \\mathbb{R}^p$ and $Y\\in \\mathbb{R}$ be two random variables. We estimate the conditional covariance matrix $\\mathrm{Cov}\\left(\\mathrm{E}\\left[\\boldsymbol{X}\\vert Y\ ight]\ ight)$ applying a plug-in kernel-based algorithm to its entries. Next, we investigate the estimators rate of convergence under smoothness hypotheses on the density function of $(\\boldsymbol{X},Y)$. In a high-dimensional context, we improve the consistency the whole matrix estimator by providing a decreasing structure over the $\\mathrm{Cov}\\left(\\mathrm{E}\\left[\\boldsymbol{X}\\vert Y\ ight]\ ight)$ entries. We illustrate a sliced inverse regression setting for time series matching the conditions of our estimator

연구 동기 및 목표

• $(\bX, Y)$의 공동 밀도가 알려져 있지 않을 때 조건부 공분산 행렬 $\Sigma = \text{Cov}(\bbE[\bX \mid Y])$에 대한 일관된 추정기법을 개발하는 것.
• 특히 조건부 기대값 $\bbE[\bX \mid Y]$에 초점을 맞추어 $(\bX, Y)$의 밀도 함수에 대한 부드러움 가정 하에서 추정기의 수렴 속도를 규명하는 것.
• 고차원 설정($p \gg n$)에서의 일관성 향상을 위해 $\Sigma$의 항목에 대해 밴딩 정규화 구조를 도입하는 것.
• 모델 조건을 충족하는 슬라이스드 인버스 리그레션 프레임워크를 통해 시간적 순서 데이터 설정에서 추정기의 적용 가능성을 보여주는 것.
• 비모수적 조건부 평균 추정에도 불구하고, 규칙성 조건 하에서 행렬 추정기의 프로베니우스 노름에 대해 파arametric 수렴 속도를 달성하는 것.

제안 방법

• 비모수적 조건부 평균 추정을 통해 각 항목 $\sigma_{ij} = \text{Cov}(\bbE[X_i \mid Y], \bbE[X_j \mid Y])$를 플러그인 커널 기반 알고리즘으로 추정한다.
• 모수적 밀도 추정을 통해 근원 밀도 $f_Y(y)$와 조건부 기대값 $\bbE[\bX \mid Y]$를 추정하며, $f_Y$는 부수적인 변수로 간주한다.
• Bickel과 Levina(2008b)의 영감을 얻은 밴딩 정규화 기법을 적용하여 고차원 설정($p > n$)에서 희박성과 일관성을 향상시킨다.
• 행렬 수준의 위험 평가를 가능하게 하기 위해 정규화된 프로베니우스 노름을 사용하여 추정 오차를 측정한다.
• 회귀 함수의 헬더 부드러움($\mathcal{H}(\beta, L)$)에 대한 가정을 사용하여 추정기의 분산을 구성 요소로 분해하고, 각 요소의 상한을 구하여 수렴 속도를 유도한다.
• 독립 동일분포 샘플에 대해 이중 평균화 접근법을 적용하고, 확률 집중 불등식 및 커널 함수의 균일한 상한을 사용하여 확률적 변동성을 통제한다.

실험 결과

연구 질문

• RQ1 $(\bX, Y)$의 공동 밀도에 대한 부드러움 가정 하에서 조건부 공분산 행렬 항목 $\sigma_{ij}$에 대한 비모수적 플러그인 추정기의 수렴 속도는 무엇인가?
• RQ2 비모수적 조건부 평균 추정에도 불구하고, 전체 행렬 추정기 $\hat{\Sigma}$는 프로베니우스 노름에서 파arametric 수렴 속도를 달성할 수 있는가?
• RQ3 $p > n$ 인 경우에 고차원 일관성의 문제(예: 고유값 산산각질, 일관성 부족)는 어떻게 완화할 수 있는가?
• RQ4 밴딩 정규화는 어떤 조건에서 추정기의 수렴 속도를 향상시키고 행렬 추정기의 일관성을 보장하는가?
• RQ5 시간적 순서나 의존적 데이터 설정에서 제안된 추정기는 어떤 조건에서 유효하고 일관성이 있는가?

주요 결과

• $(f_Y \in \mathcal{H}(\beta, L)$, $\bbE[X_i \mid Y] \in \mathcal{H}(\beta, L)$)의 부드러움 가정 하에서 추정기 $\hat{\sigma}_{ij}$는 최적의 대역폭 $h \sim n^{-1/(2\beta+1)}$를 사용할 때 파arametric 수렴 속도 $O_p(h^{2\beta} + n^{-1}h^{-1} \log^4 n)$를 달성한다.
• 규칙성 조건 하에서 전체 행렬 추정기 $\hat{\Sigma}$의 프로베니우스 노름 위험은 비모수적 조건부 평균 추정에도 불구하고 파arametric 수렴 속도 $O_p(n^{-1/2})$로 수렴한다.
• 추정기의 분산은 $\text{Var}(\hat{\sigma}_{ij}) \leq C_1 h^{2\beta} + \frac{C_2 \log^4 n}{n^2 h^4} + \frac{1}{n}$ 으로 유계이며, 이는 편향과 분산 사이의 최적의 트레이드오���을 달성한다.
• 밴딩 정규화는 항목에 감소하는 구조를 유도하여 고차원 설정($p \gg n$)에서 $\hat{\Sigma}$의 일관성을 보장하고 고유값 산산각질을 방지한다.
• 비모수적 근원 밀도 $f_Y$의 추정으로 인해 수렴 속도가 저하되지 않으며, 반세모수적 설정에서도 효율적이다.
• 슬라이스드 인버스 리그레션 프레임워크 하에서 시간적 순서 데이터에 적용 가능하며, 제4장에서 특정 시간적 순서 과정이 모델 조건을 충족함을 보여준다.