[논문 리뷰] On the computational and statistical complexity of over-parameterized matrix sensing

Jiacheng Zhuo, Jeongyeol Kwon외 2명|arXiv (Cornell University)|2021. 01. 27.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 8

한 줄 요약

이 논문은 진짜 질서 $ r $ 가 알려져 있지 않고 과잉 지정된 경우($ k > r $) 과잉 매개변수화된 저질서 행렬 감지에서 인자 분해 경사 하강법(FGD)에 대한 종합적인 분석을 제공한다. 진짜 질서 $ r $ 가 알려져 있지 않고 과잉 지정된 경우($ k > r $) 과잉 매개변수화된 저질서 행렬 감지에서 인자 분해 경사 하강법(FGD)에 대한 종합적인 분석을 제공한다. FGD가 $ \tilde{\mathcal{O}}(\sigma_r / \sigma \cdot \sqrt{n/d}) $ 반복 후에 $ \tilde{\mathcal{O}}(kd\sigma^2/n) $ 의 통계 오차로 수렴함을 입증하여, 과잉 매개변수화 하에서 계산 복잡도와 통계 복잡도에 대한 핵심적인 이해 격차를 해결한다.

ABSTRACT

We consider solving the low rank matrix sensing problem with Factorized Gradient Descend (FGD) method when the true rank is unknown and over-specified, which we refer to as over-parameterized matrix sensing. If the ground truth signal $\mathbf{X}^* \in \mathbb{R}^{d*d}$ is of rank $r$, but we try to recover it using $\mathbf{F} \mathbf{F}^ op$ where $\mathbf{F} \in \mathbb{R}^{d*k}$ and $k>r$, the existing statistical analysis falls short, due to a flat local curvature of the loss function around the global maxima. By decomposing the factorized matrix $\mathbf{F}$ into separate column spaces to capture the effect of extra ranks, we show that $\|\mathbf{F}_t \mathbf{F}_t - \mathbf{X}^*\|_{F}^2$ converges to a statistical error of $ ilde{\mathcal{O}} ({k d σ^2/n})$ after $ ilde{\mathcal{O}}(\frac{σ_{r}}σ\sqrt{\frac{n}{d}})$ number of iterations where $\mathbf{F}_t$ is the output of FGD after $t$ iterations, $σ^2$ is the variance of the observation noise, $σ_{r}$ is the $r$-th largest eigenvalue of $\mathbf{X}^*$, and $n$ is the number of sample. Our results, therefore, offer a comprehensive picture of the statistical and computational complexity of FGD for the over-parameterized matrix sensing problem.

연구 동기 및 목표

• 진짜 질서 $ r $ 가 알려져 있지 않고 과잉 지정된 경우($ k > r $) 저질서 행렬 감지에서 인자 분해 경사 하강법(FGD)의 이론적 이해 부족을 해결한다.
• 과잉 매개변수화된 설정에서 전역 최적해 주변의 특이한 헤시안 행렬과 평탄한 국소 곡률로 인해 이전 분석이 강한 볼록성에 의존하는 데 실패하는 문제를 극복한다.
• 과잉 매개변수화된 영역에서 FGD의 통계 오차와 계산 수렴 속도를 특성화하여 성능에 대한 완전한 그림을 제공한다.
• 과잉 지정으로 인해 추가 자유도가 생기므로 정확한 복원이 아니라 비영이 되는 통계 오차로 FGD가 수렴함을 입증한다.

제안 방법

• 진짜 질서 $ r $ 를 초월하는 추가 질서의 영향을 모델링하기 위해 인자 분해 행렬 $ \mathbf{F} $ 를 별개의 열 공간으로 분해한다.
• 스텝 크기 $ \eta $ 를 사용한 경사 하강 업데이트 규칙 $ \mathbf{F}_{t+1} = \mathbf{F}_t - \eta \mathbf{G}_t^n $ 을 통해 인자 분해 행렬 $ \mathbf{F}_t $ 의 동역학을 분석하며, 여기서 $ \mathbf{G}_t^n $ 은 경험적 경사이다.
• 저질서 행렬 위에 $ \epsilon $-넷을 사용한 균일한 농도 경계를 도입하여 경험적 경사의 기대값에서의 편차를 제어한다.
• 서브가우시안 농도와 스펙트럼 노름 경계를 사용하여 경험 헤시안 행렬이 기대 헤시안 행렬로의 고확률 균일 수렴을 유도한다.
• 과잉 지정된 질서를 고려하기 위해 새로운 분석 프레임워크를 도입하여 인자 분해에서 추가된 $ k - r $ 차원의 기여를 분리한다.
• 난이도 높은 행렬 이론과 고차원 확률론의 결과를 활용하여, 저질서 부분공간에서 경사 연산자의 항등원에서의 편차를 유계화한다.

실험 결과

연구 질문

• RQ1 저질서 행렬 감지에서 질서가 과잉 지정된 경우($ k > r $) FGD가 달성할 수 있는 통계 오차는 무엇인가?
• RQ2 과잉 매개변수화 하에서 진짜 행렬 $ \mathbf{X}^* $ 의 안정적인 이웃으로 FGD가 수렴하기 위해 필요한 반복 횟수는 얼마인가?
• RQ3 기존의 수렴 분석이 과잉 매개변수화 영역에서 실패하는 이유는 무엇이며, 평탄한 곡률과 엄밀한 볼록성의 부재를 다룰 수 있도록 어떻게 수정할 수 있는가?
• RQ4 진짜 행렬 $ \mathbf{X}^* $ 의 $ r $-번째로 큰 고유값인 $ \sigma_r $ 과 노이즈 표준편차인 $ \sigma $ 의 비율 $ \sigma_r / \sigma $ 는 수렴 속도에 어떤 영향을 미치는가?
• RQ5 추가 자유도가 존재함에도 불구하고 FGD는 과잉 매개변수화된 설정에서 최소 최대 최적 통계 오차를 달성할 수 있는가?

주요 결과

• FGD 반복값 $ \mathbf{F}_t \mathbf{F}_t^\top $ 은 진짜 질서가 $ r $ 이지만 과잉 매개변수화된 질서 $ k $ 에 비례하는 $ \tilde{\mathcal{O}}(kd\sigma^2/n) $ 의 통계 오차로 수렴한다.
• 수렴 속도는 $ \tilde{\mathcal{O}}(\sigma_r / \sigma \cdot \sqrt{n/d}) $ 반복이며, 신호 대 노이즈 비율 $ \sigma_r / \sigma $ 에 따라 달라지고 표본 수 $ n $ 의 제곱근 비례로 증가한다.
• 추가로 $ (k - r) $ 차원이 존재하여 제거할 수 없는 추정 오차가 발생함으로써, 기존 질서가 알려진 경우($ \tilde{\mathcal{O}}(rd\sigma^2/n) $) 와 비교해 더 큰 최종 오차를 가진다.
• 분석을 통해 과잉 매개변수화 하에서 전역 최소점에서 헤시안 행렬이 특이함을 입증하여, 이전 강한 볼록성 가정이 무효화됨을 밝혔다.
• 고확률로 경험적 경사 연산자가 저질서 부분공간에서 항등원 주변에 집중되어 있어, $ \epsilon $-넷 추론을 통한 수렴 분석이 가능하다.
• 결과는 서브가우시안 노이즈와 무작위 대칭 감지 행렬 하에서 유효하며, 비점근적 성격을 지녀 유한 표본 보장을 제공한다.