[논문 리뷰] The low-rank eigenvalue problem

Yuji Nakatsukasa|arXiv (Cornell University)|2019. 05. 27.

Sparse and Compressive Sensing Techniques참고 문헌 7인용 수 5

한 줄 요약

이 논문은 $X = AB$ 형태의 큰 저질서 행렬의 고유값과 고유벡터를 계산하는 데 효율적인 알고리즘을 제시한다. 이는 $AB$와 $BA$의 비영 고유값이 동일하다는 항등식을 활용하여, $r \ll N$인 $r \times r$ 행렬 $BA$를 구성함으로써 계산 비용을 $O(N^3)$에서 $O(r^3)$으로 감소시킨다. 비영 고유값과 고유벡터는 $w = Bv$를 통해 정확히 대응되며, 영 고유값에 대한 조르당 블록 구조가 $AB$와 $BA$ 간에 어떻게 다를지 기술한다. 주요 기여는 $BA$로부터 $AB$의 조르당 구조를 완전히 특성화한 것으로, 영 고유값의 블록 크기 변화와 질서 유지 변환을 포함한다.

ABSTRACT

The nonzero eigenvalues of $AB$ are equal to those of $BA$: an identity that holds as long as the products are square, even when $A,B$ are rectangular. This fact naturally suggests an efficient algorithm for computing eigenvalues and eigenvectors of a low-rank matrix $X= AB$ with $A,B^T\in\mathbb{C}^{N imes r}, N\gg r$: form the small $r imes r$ matrix $BA$ and find its eigenvalues and eigenvectors. For nonzero eigenvalues, the eigenvectors are related by $ ABv = λv \Leftrightarrow BAw = λw $ with $w=Bv$, and the same holds for Jordan vectors. For zero eigenvalues, the Jordan blocks can change sizes between $AB$ and $BA$, and we characterize this behavior.

연구 동기 및 목표

• 큰 저질서 행렬에 대한 표준 고유값 해법의 계산 비효율성을 해결하기 위해.
• 비영 고유값이 동일한 $AB$와 $BA$의 성질을 활용하여 문제 크기를 줄이기 위해.
• 작은 행렬 $BA$로부터 $AB$의 조르당 구조를 완전히 특성화하기 위해, 영 고유값의 조르당 블록 크기 변화를 포함하여.
• 표준 $O(N^3)$ 대신 $O(r^3)$ 연산을 사용하는 수치적으로 안정적이고 효율적인 저질서 행렬 고유쌍 계산 알고리즘을 제공하기 위해.

제안 방법

• 저질서 분해 $X = AB$에서 $A, B^T \in \mathbb{C}^{N \times r}$, $N \gg r$를 이용해 작은 $r \times r$ 행렬 $BA$를 구성한다.
• 표준 방법을 사용하여 $BA$의 고유값과 고유벡터를 계산하며, 이는 오직 $O(r^3)$의 부동소수점 연산으로 수행된다.
• 비영 고유값과 고유벡터를 $w = Bv$ 관계를 통해 $BA$에서 $AB$로 매핑한다. 여기서 $v$는 $BA$의 고유벡터이고, $w$는 $AB$의 고유벡터이다.
• 영 고유값에 대한 조르당 블록의 변환을 특성화한다: $BA$에서 크기 $k_i$인 각 조르당 블록은 $AB$에서 크기 $k_i + 1$로 변환되며, 추가로 $N - r - \ell$개의 크기 1인 블록이 나타난다.
• $A$가 완전한 열 질서를 가진 경우, $A^T A v = \lambda S v$ 형태의 대칭 일반화 고유값 문제를 해결하기 위해 $A^T A$의 콜레스키 분해를 사용하여 수치적 안정성을 확보한다.
• 최종적으로 $AB$의 고유벡터가 정규직교이고, $X = W \Lambda W^T$를 통해 완전한 분해를 이루는지 확인한다.

실험 결과

연구 질문

• RQ1 큰 저질서 행렬 $X = AB$의 고유값 문제를 $X$를 명시적으로 구성하지 않고 효율적으로 어떻게 해결할 수 있는가?
• RQ2 영 고유값에 대해 $AB$와 $BA$의 조르당 구조 간의 정확한 관계는 무엇인가, 특히 블록 크기 변화에 대해 어떻게 되는가?
• RQ3 $AB$의 비영 고유값과 고유벡터는 $BA$의 결과로부터 정확히 복원할 수 있는가?
• RQ4 $A$ 또는 $B$의 질서 부족이 $AB$와 $BA$의 고유값 구조에 어떤 영향을 미치는가?
• RQ5 저질서 설정에서 표준 고유값 해법과 제안된 방법 간의 계산 비용은 어떻게 비교되는가?

주요 결과

• $AB$와 $BA$의 비영 고유값은 대수적 다중성과 기하적 다중성을 포함해 정확히 동일하며, 이는 $BA$에서의 고유쌍을 $AB$로 정확히 이전할 수 있음을 의미한다.
• $AB$의 비영 고유값에 대응하는 고유벡터는 $w = Bv$ 관계로 연결되며, 여기서 $v$는 $BA$의 고유벡터이다. 이 관계는 조르당 체인을 유지한다.
• 영 고유값의 경우, $AB$의 기하 다중성은 $N - r + \ell$이며, 여기서 $\ell$은 $BA$에서 영 고유값의 기하 다중성이다. 추가로 $N - r - \ell$개의 $1 \times 1$ 조르당 블록이 존재한다.
• $BA$에서 영 고유값에 대해 크기 $k_i$인 각 조르당 블록은 $AB$에서 크기 $k_i + 1$로 변환되며, 이는 플랜드스의 정리와 일치한다.
• $AB$의 조르당 구조 총 차원은 완전히 설명된다: 비영 및 변환된 영 고유값으로부터 $r + \ell$의 차원과 새로운 $1 \times 1$ 블록들로부터 $N - r - \ell$의 차원이 존재한다.
• 이 방법은 $AB$의 고유쌍 계산 비용을 $O(N^3)$에서 $O(r^3)$으로 감소시키며, $BA$를 구성하는 데 추가로 $2Nr^2$의 연산이 소요되어 $N \gg r$인 큰 경우 매우 효율적이다.