[논문 리뷰] Confidence Region of Singular Subspaces for Low-rank Matrix Regression

Dong Xia|arXiv (Cornell University)|2018. 05. 24.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 4

한 줄 요약

이 논문은 추적 회귀 모델에서 낮은 질량의 행렬의 특이부공간에 대한 渐近적으로 타당한 신뢰 영역을 구성하기 위해 이단계 탈편향 절차를 제안한다. 조건 $ r^{3/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ 하에서, 경험적 특이부공간과 진짜 특이부공간 간의 공동 투영 거리의 渐近 정규성을 확립하여 사전에 지정된 수준에서 데이터 기반의 신뢰 영역을 가능하게 한다.

ABSTRACT

Low-rank matrix regression refers to the instances of recovering a low-rank matrix based on specially designed measurements and the corresponding noisy outcomes. In the last decade, numerous statistical methodologies have been developed for efficiently recovering the unknown low-rank matrices. However, in some applications, the unknown singular subspace is scientifically more important than the low-rank matrix itself. In this article, we revisit the low-rank matrix regression model and introduce a two-step procedure to construct confidence regions of the singular subspace. The procedure involves the de-biasing for the typical low-rank estimators after which we calculate the empirical singular vectors. We investigate the distribution of the joint projection distance between the empirical singular subspace and the unknown true singular subspace. We specifically prove the asymptotical normality of the joint projection distance with data-dependent centering and normalization when $r^{3/2}(m_1+m_2)^{3/2}=o(n/\log n)$ where $m_1, m_2$ denote the matrix row and column sizes, $r$ is the rank and $n$ is the number of independent random measurements. Consequently, we propose data-dependent confidence regions of the true singular subspace which attains any pre-determined confidence level asymptotically. In addition, non-asymptotical convergence rates are also established. Numerical results are presented to demonstrate the merits of our methods.

연구 동기 및 목표

• 특이부공간에 대한 통계적 추론이 필요한 이유를 다루며, 이는 양자 상태 단층 촬영, 위상 복원, 블라인드 디컨볼루션과 같은 적용 분야에서 낮은 질량의 행렬 자체보다 특이부공간이 더 과학적으로 관련성이 높기 때문이다.
• 사전에 지정된 임의의 신뢰 수준을 점점 더 가까이 갈 수 있도록 진짜 특이부공간에 대한 신뢰 영역을 구성한다.
• 추적 회귀 모델 하에서 특이부공간 추정의 渐진적 및 비-渐진적 수렴 속도를 확립한다.
• 기저 신호가 특이부공간인 낮은 질량의 행렬 복원에서 불확실성 정량화를 위한 이론적으로 탄탄한 방법을 제공한다.

제안 방법

• 표준 낮은 질량의 행렬 추정기의 탈편향을 통해 특이부공간 추정의 편향을 교정하는 이단계 절차.
• 탈편향된 추정기에서 경험적 특이벡터를 계산하여 추정된 특이부공간을 형성하는 것.
• 데이터 기반 중심화 및 정규화 하에서 경험적 및 진짜 특이부공간 간의 공동 투영 거리의 渐진적 분포를 유도하는 것.
• 조건 $ r^{3/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ 하에서 공동 투영 거리의 渐진 정규성을 증명하여 타당한 추론을 보장하는 것.
• 리프시츠 성질과 농도 불등식을 활용하여 경험 과정의 이탈을 제어하기 위해 대칭화 및 조건부 기대값 기법을 사용하는 것.
• 행렬 농도 및 연산자 노름 경계를 적용하여 탈편향 프레임워크 내에서 랜덤 행렬 성분의 거동을 제어하는 것.

실험 결과

연구 질문

• RQ1 추적 회귀 모델에서 낮은 질량의 행렬의 특이부공간에 대해 타당한 신뢰 영역을 구성할 수 있는가?
• RQ2 경험적 특이부공간과 진짜 특이부공간 간의 공동 투영 거리가 정규 분포로 수렴하는 조건은 무엇인가?
• RQ3 낮은 질량의 행렬 추정기의 편향을 어떻게 교정하여 특이부공간에 대한 정확한 추론을 가능하게 할 수 있는가?
• RQ4 제안된 프레임워크 하에서 특이부공간 추정의 비-渐진 수렴 속도는 무엇인가?
• RQ5 이 방법은 점점 더 가까이 갈 수 있는 사전에 지정된 모든 신뢰 수준을 점차적으로 달성할 수 있는가?

주요 결과

• 조건 $ r^{3/2}(m_1 + m_2)^{3/2} = o(n / \log n) $ 하에서 데이터 기반 중심화 및 정규화 하에서 경험적 특이부공간과 진짜 특이부공간 간의 공동 투영 거리는 渐진적으로 정규분포를 따른다.
• 제안된 방법은 사전에 지정된 임의의 신뢰 수준을 점차적으로 달성하는 데이터 기반의 신뢰 영역을 제공한다.
• 비-渐진 수렴 속도가 특이부공간 추정에 대해 확립되어 진짜 부공간에서의 이탈을 정량화한다.
• 탈편향 절차는 표준 낮은 질량의 추정기의 편향을 효과적으로 제거하여 특이부공간에 대한 타당한 추론을 가능하게 한다.
• 대칭화, 조건부 기대값, 랜덤 행렬 성분의 측도 집중 기법을 사용하여 이론적 보장을 도출한다.
• 특이부공간이 주요 관심 대상인 응용 분야인 양자 상태 단층 촬영, 위상 복원, 블라인드 디컨볼루션 등에 이 방법을 적용할 수 있다.