[논문 리뷰] Optimal Schatten-q and Ky-Fan-k Norm Rate of Low Rank Matrix Estimation

Dong Xia|arXiv (Cornell University)|2014. 03. 25.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 하위가우시안 설계 하에서 행렬 Dantzig 선택기와 LASSO 추정기들을 사용하여 슈바르츠-큐 및 키-판-케이 노름 하에서 저질행렬 복원의 최적 추정 속도를 확립한다. 스펙트럴, 슈바르츠-큐, 키-판-케이 노름에 대해 날카운 상한과 일치하는 최소최대 하한(로그 요소를 제외한)을 유도하며, $ n \gtrsim Cm[r^2 \vee r\log m\log n] $ 개의 샘플이 최적 복원을 위해 충분함을 보여주며, 결과는 그라스만 다양체의 거리 엔트로피와 경험 과정 이론에 기반한다.

ABSTRACT

In this paper, we consider low rank matrix estimation using either matrix-version Dantzig Selector $\hat{A}_λ^d$ or matrix-version LASSO estimator $\hat{A}_λ^L$. We consider sub-Gaussian measurements, $i.e.$, the measurements $X_1,\ldots,X_n\in\mathbb{R}^{m imes m}$ have $i.i.d.$ sub-Gaussian entries. Suppose $ extrm{rank}(A_0)=r$. We proved that, when $n\geq Cm[r^2\vee r\log(m)\log(n)]$ for some $C>0$, both $\hat{A}_λ^d$ and $\hat{A}_λ^L$ can obtain optimal upper bounds(except some logarithmic terms) for estimation accuracy under spectral norm. By applying metric entropy of Grassmann manifolds, we construct (near) matching minimax lower bound for estimation accuracy under spectral norm. We also give upper bounds and matching minimax lower bound(except some logarithmic terms) for estimation accuracy under Schatten-q norm for every $1\leq q\leq\infty$. As a direct corollary, we show both upper bounds and minimax lower bounds of estimation accuracy under Ky-Fan-k norms for every $1\leq k\leq m$.

연구 동기 및 목표

• 슈바르츠-큐 및 키-판-케이 노름 하에서 저질행렬 복원의 추정 오차에 대한 최적 상한과 하한을 확립하기.
• 하위가우시안 측정 설계 하에서 행렬 Dantzig 선택기와 LASSO 추정기의 성능을 분석하기.
• 그라스만 다양체의 거리 엔트로피를 사용하여 스펙트럴 노름 추정에 대해 일치하는 최소최대 하한을 유도하기.
• 이전의 프로베니우스 노름 결과를 더 일반적인 슈바르츠 및 키-판 노름으로 확장하기.
• 최적 추정을 위해 필요한 샘플 복잡도를 규명하여 $ n \gtrsim Cm[r^2 \vee r\log m\log n] $ 가 충분함을 보여주기.

제안 방법

• 하위가우시안 측정을 갖는 추적 회귀 모델 하에서 행렬 Dantzig 선택기 $ \hat{A}_{\lambda}^{d} $ 와 LASSO 추정기 $ \hat{A}_{\lambda}^{L} $ 를 사용한다.
• 경험 과정 이론과 탈라그랑드 유형 부등식을 적용하여 경험 노름이 기대값에서 벗어남을 통제한다.
• 멘델슨과 아담차크의 부등식을 사용하여 질서가 낮은 행렬로 인덱싱된 경험 과정의 최대값을 유계화한다.
• 그라스만 다양체의 거리 엔트로피를 사용하여 스펙트럴 노름 추정에 대해 일치하는 최소최대 하한을 구성한다.
• 측정값의 하위가우시안 행동을 통제하기 위해 선형 형식 $ \langle A, X \rangle $ 의 $ \psi_2 $-노름에 대한 유계를 도출한다.
• 일반적인 체이닝과 가우시안 과정 복잡도를 사용하여 질서 제약이 있는 집합 위에서 경험 과정의 기대 최대값을 유계화한다.

실험 결과

연구 질문

• RQ1 1 \leq q \leq \infty $ 인 슈바르츠-큐 노름 하에서 저질행렬 복원의 추정 오차에 대한 최적 속도는 무엇인가요?
• RQ2 행렬 Dantzig 선택기와 LASSO는 슈바르츠-큐 및 키-판-케이 노름 하에서 최소최대 최적 속도를 달성할 수 있나요?
• RQ3 스펙트럴 및 슈바르츠-큐 노름 하에서 최적 추정 속도를 달성하기 위해 필요한 샘플 수 $ n $ 는 얼마인가요?
• RQ4 추정 오차의 상한과 최소최대 하한 간의 비교에서, 특히 로그 요소 측면에서 어떻게 다른가요?
• RQ5 하위가우시안 설계는 추가적인 구조적 가정 없이도 최적 복원을 가능하게 하는가요?

주요 결과

• 스펙트럴 노름 하에서, $ n \gtrsim Cm[r^2 \vee r\log m\log n] $ 일 때, 행렬 Dantzig 선택기와 LASSO는 로그 요소를 제외한 최적 상한을 달성한다.
• 슈바르츠-큐 노름 추정에 대해, 본 논문은 모든 $ 1 \leq q \leq \infty $ 에 대해 상한과 일치하는 최소최대 하한(로그 항을 제외한)을 확립한다.
• 직접적인 추론으로, 모든 $ 1 \leq k \leq m $ 에 대해 키-판-케이 노름 추정에 대해 최적 상한과 하한을 도출한다.
• 최소최대 하한은 그라스만 다양체의 거리 엔트로피를 사용하여 구성되었으며, 로그 요소를 제외한 상한과 일치한다. 마찬가지로 마와 우 [17]와 유사하다.
• 분석 결과, 스펙트럴 노름 추정에 대해 최적 복원을 위해 충분한 샘플 복잡도 $ n \gtrsim Cm[r^2 \vee r\log m\log n] $ 를 보여주며, 이는 이전의 프로베니우스 노름에 대한 $ n \gtrsim Cmr $ 의 결과를 향상시킨다.
• 결과는 하위가우시안 설계가 추가적인 구조적 가정 없이도 최적 복원을 가능하게 함을 확인한다. 이는 행렬 완성 모델과는 다릅니다.