[논문 리뷰] Uniform bounds for invariant subspace perturbations

Anil Damle, Yuekai Sun|arXiv (Cornell University)|2019. 05. 20.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 대칭 행렬의 불변 부분공간에 대한 편차를 다루기 위해 행별로 측정하는 메트릭(특히 두-무한대 노름)을 사용하여 새로운 결정론적 경계를 개발한다. 이러한 경계는 기존의 스펙트럼 또는 프로베니우스 노름 기반 경계보다 훨씬 더 날카롭게 작용하며, 특히 편차와 고유벡터가 비일관성(inc oherent)일 경우에 특히 두드러진다. 주요 기여는 대칭 행렬과 그 편차 버전의 고유벡터 간의 행별 거리에 대해 날카롭고 명시적인 상한을 제시하는 것으로, 특히 구조적 조건이 있는 경우 고전적인 Davis-Kahan 유형 결과를 향상시킨다.

ABSTRACT

For a fixed symmetric matrix A and symmetric perturbation E we develop purely deterministic bounds on how invariant subspaces of A and A+E can differ when measured by a suitable "row-wise" metric rather than via traditional measures of subspace distance. Understanding perturbations of invariant subspaces with respect to such metrics is becoming increasingly important across a wide variety of applications and therefore necessitates new theoretical developments. Under minimal assumptions we develop new bounds on subspace perturbations under the two-to-infinity matrix norm and show in what settings these row-wise differences in the invariant subspaces can be significantly smaller than the analogous two or Frobenius norm differences. We also demonstrate that the constitutive pieces of our bounds are necessary absent additional assumptions and, therefore, our results provide a natural starting point for further analysis of specific problems. Lastly, we briefly discuss extensions of our bounds to scenarios where A and/or E are non-normal matrices.

연구 동기 및 목표

• 스펙트럼 또는 프로베니우스 노름이 아닌 행별 노름을 통해 부분공간 차이를 측정하는 편차 이론의 증가하는 필요성을 다루기 위해.
• 대칭 편차 하에서 불변 부분공간의 정규직교 기저 간의 두-무한대 노름 차이에 대해 날카롭고 결정론적인 경계를 제공하기 위해.
• 이러한 경계가 추가적인 구조나 확률 모델 가정 없이도 최소한의 가정 하에 필수적이고 최적임을 보여주기 위해.
• 비정규 행렬로의 프레임워크 확장을 통해 대칭 설정을 넘어서도 적용 가능함을 보여주기 위해.

제안 방법

• 대칭 행렬과 그 편차 버전의 주요 불변 부분공간의 정규직교 기저 간의 두-무한대 노름 차이에 대한 경계를 유도한다.
• 행렬 $ A $ 와 $ E $ 의 블록 행렬 분해를 사용하여, 주요 및 보조 스펙트럼 성분에 해당하는 블록으로 행렬을 분할한다.
• 직교 프로크루스테스 문제를 통한 편차 전개를 적용하고, 불변 부분공간 기저에서 잔차 오차를 제어하기 위해 비선형 행렬방정식의 해를 구성한다.
• 해를 제어하는 데 사용되는 비선형 행렬방정식 $ G:Y \to -V_2\widetilde{A}_{2,1} + Y\widetilde{A}_{1,1} - V_2\widetilde{A}_{2,2}V_2^T Y + Y\widetilde{A}_{1,2}V_2^T Y $ 의 정교한 분석을 수행한다.
• 스펙트럼 분리 정도를 측정하고 편차 문제의 조건수를 제어하기 위해 갭 $ \text{gap} $ 과 일반화된 분리도수 $ \text{sep}_2(\Lambda_1, \Lambda_2) $ 를 사용한다.
• 경계 성분들이 최소한의 가정 하에서 필수적임을 보여주어, 추가적인 가정 없이도 경계를 향상시킬 수 없음을 입증한다.

실험 결과

연구 질문

• RQ1 대칭 행렬과 그 편차 버전의 불변 부분공간 간의 행별 거리에 대해 고전적 경계보다 훨씬 더 날카운 결정론적 경계를 유도할 수 있는가?
• RQ2 편차와 고유벡터의 비일관성은 이러한 경계의 날카움에 어떤 영향을 미치는가?
• RQ3 두-무한대 노름의 부분공간 차이가 Davis-Kahan 이론의 스펙트럼 노름 경계보다 상당히 작은 경우는 어떤 조건에서 발생하는가?
• RQ4 제안된 경계의 개별 성분들은 필수적인가, 아니면 추가적인 가정 없이도 향상시킬 수 있는가?
• RQ5 이 프레임워크는 비정규 행렬로 확장될 수 있으며, 그 과정에서의 주요 과제는 무엇인가?

주요 결과

• 이 논문은 랭크-1 편차의 경우, $ \min_{s=\pm1} \|\widehat{v} - s v\|_\infty \leq 8\|v\|_\infty \frac{\|Ev\|_2^2}{\lambda^2} + 2\zeta \frac{\|Ev\|_\infty}{\lambda} + 4\zeta \frac{\|Ev\|_2}{\lambda^2} \max_i \|E_{i,:}\|_2 $ 의 형태를 가진 경계를 확립한다. 여기서 $ \zeta = \|I - vv^T\|_\infty $ 이다.
• 이 경계는 고전적인 Davis-Kahan 경계보다 상당히 작을 수 있으며, 이 경계는 $ \|Ev\|_2 / \lambda $ 와 유사하게 행동한다. 특히 $ E $ 와 $ v $ 가 비일관성(즉, 일관되게 작은 행 노름을 가짐)일 경우 두드러진다.
• 최소한의 가정 하에서 경계 성분들이 필수적임이 입증되었으며, 이는 추가적인 구조적 제약 없이도 경계를 향상시킬 수 없음을 의미한다.
• 고차원 부분공간의 경우, $ \|V_2 E_{2,2} V_2^T\|_{2,\infty} $, $ \|E_{2,1}\|_2 $, 스펙트럼 갭 및 분리 상수를 포함하는 경계를 유도하였다. 이 경계는 비대칭 및 블록 편차의 영향을 포괄한다.
• 분석 결과, 부분공간 차이의 두-무한대 노름은 편차의 행별 구조와 행렬의 스펙트럼 구조 간의 상호작용에 의해 제어됨을 보여주었다.
• 비정규 행렬로의 프레임워크 확장이 이루어졌으며, 경계에는 $ \|V_2 E_{2,2} V_2^T \widehat{Y}\|_{2,\infty} / \text{gap} $ 와 같은 항이 포함되었고, 증명은 잔차 행렬 $ \widehat{Y} $ 를 위한 비선형 행렬방정식의 해를 구하는 데 의존한다.