[논문 리뷰] Confidence interval of singular vectors for high-dimensional and low-rank matrix regression.

Dong Xia|arXiv (Cornell University)|2018. 05. 24.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 고차원·저질서 행렬 회귀에서의 저질서 행렬의 단일 벡터에 대한 신뢰구간을 구축하는 방법을 제안한다. 이는 추정된 진짜 단일 부분공간 간의 거리 측도의 渐近 정규성을 활용한다. 질서와 차원에 대한 유사 희박성 조건 하에서, 적절히 중심화되고 정규화된 거리 측도의 渐近 정규성을 확립함으로써, 사전에 지정된 임의의 수준에서 유효한 신뢰구간을 제공한다.

ABSTRACT

Let ${\bf M}\in\mathbb{R}^{m_1 imes m_2}$ be an unknown matrix with $r={ m rank}({\bf M})\ll \min(m_1,m_2)$ whose thin singular value decomposition is denoted by ${\bf M}={\bf U}{\bf \Lambda}{\bf V}^{ op}$ where ${\bf \Lambda}={ m diag}(\lambda_1,\cdots,\lambda_r)$ contains its non-increasing singular values. Low rank matrix regression refers to instances of estimating ${\bf M}$ from $n$ i.i.d. copies of random pair $\{({\bf X}, y)\}$ where ${\bf X}\in\mathbb{R}^{m_1 imes m_2}$ is a random measurement matrix and $y\in\mathbb{R}$ is a noisy output satisfying $y={ m tr}({\bf M}^{ op}{\bf X})+\xi$ with $\xi$ being stochastic error independent of ${\bf X}$. The goal of this paper is to construct efficient estimator (denoted by $\hat{\bf U}$ and $\hat{\bf V}$) and confidence interval of ${\bf U}$ and ${\bf V}$. In particular, we characterize the distribution of $$ { m dist}^2\big[(\hat{\bf U},\hat{\bf V}), ({\bf U},{\bf V})\big]=\|\hat{\bf U}\hat{\bf U}^{ op}-{\bf U}{\bf U}^{ op}\|_{ m F}^2+\|\hat{\bf V}\hat{\bf V}^{ op}-{\bf V}{\bf V}^{ op}\|_{ m F}^2. $$ We prove the asymptotical normality of properly centered and normalized ${ m dist}^2\big[(\hat{\bf U},\hat{\bf V}), ({\bf U},{\bf V})\big]$ with data-dependent centering and normalization when $r^{5/2}(m_1+m_2)^{3/2}=o(n/\log n)$, based on which confidence interval of ${\bf U}$ and ${\bf V}$ is constructed achieving any pre-determined confidence level asymptotically.

연구 동기 및 목표

• 저질서·고차원 행렬의 왼쪽 및 오른쪽 단일 벡터에 대한 통계적으로 타당한 신뢰구간을 개발하는 것.
• 프로베니우스 노름에서 추정된 진짜 단일 부분공간 간의 제곱거리의 분포를 기술하는 것.
• 고차원 설정에서 $ r^{5/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ 조건 하에 정규화되고 중심화된 거리 측도의 渐近 정규성을 확립하는 것.
• 고차원 설정에서 사전에 지정된 임의의 신뢰수준으로 단일 부분공간에 대한 추론을 가능하게 하는 것.

제안 방법

• 알려지지 않은 저질서 행렬을 표현하기 위해 얇은 특이값 분해 $ \mathbf{M} = \mathbf{U} \boldsymbol{\Lambda} \mathbf{V}^\top $ 를 사용한다.
• 추론을 위한 핵심 통계량으로 제곱거리 $ \text{dist}^2[(\hat{\mathbf{U}}, \hat{\mathbf{V}}), (\mathbf{U}, \mathbf{V})] = \|\hat{\mathbf{U}}\hat{\mathbf{U}}^\top - \mathbf{U}\mathbf{U}^\top\|_F^2 + \|\hat{\mathbf{V}}\hat{\mathbf{V}}^\top - \mathbf{V}\mathbf{V}^\top\|_F^2 $ 를 정의한다.
• 거리 통계량에 데이터 기반 중심화와 정규화를 적용하여 渐近 정규성을 달성한다.
• 조건 $ r^{5/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ 하에서 渐近 분포를 유도하며, 이는 $ n \to \infty $ 일 때 정규 근사가 성립함을 보장한다.
• 정규화된 거리의 渐近 정규성을 바탕으로 $ \mathbf{U} $ 와 $ \mathbf{V} $ 에 대한 신뢰구간을 구축한다.

실험 결과

연구 질문

• RQ1 고차원 저질서 행렬 회귀에서 왼쪽 단일 벡터 $ \mathbf{U} $ 에 대한 신뢰구간을 구축할 수 있는가?
• RQ2 동일한 모델 하에서 오른쪽 단일 벡터 $ \mathbf{V} $ 에 대해서도 유사하게 신뢰구간을 구축할 수 있는가?
• RQ3 프로베니우스 노름에서 추정된 진짜 단일 부분공간 간의 거리의 渐近 분포는 무엇인가?
• RQ4 정규화되고 중심화된 거리 통계량이 정규 분포로 수렴하는 조건은 무엇인가?

주요 결과

• 논문은 추정된 진짜 단일 부분공간 간 제곱거리의 적절히 중심화되고 정규화된 형태의 渐近 정규성을 확립한다.
• 이 渐近 정규성은 $ r^{5/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ 조건 하에서 성립하며, 이는 증가하는 $ m_1, m_2 $ 와 중간 정도의 $ r $ 를 가진 고차원 설정을 허용한다.
• $ \mathbf{U} $ 와 $ \mathbf{V} $ 에 대한 신뢰구간은 渐近적으로 사전에 지정된 임의의 신뢰수준을 달성한다.
• 이 방법은 데이터 기반 중심화와 정규화에 의존하므로 실용적 구현이 가능하다.
• 결과적으로 오차 분포에 대한 강력한 파rametric 가정이 없이도 단일 부분공간에 대한 타당한 통계적 추론이 가능해진다.