[논문 리뷰] A closed-form update for orthogonal matrix decompositions under arbitrary rank-one modifications

Ralf Zimmermann|arXiv (Cornell University)|2017. 11. 22.

Matrix Theory and Algorithms인용 수 4

한 줄 요약

이 논문은 SVD 및 QR과 같은 직교 행렬 분해에 대해 임의의 랭크-일 제거에 대해 폐쇄형 업데이트를 제시한다. 이는 보조 행렬의 SVD 또는 QR을 다시 계산하지 않고도 업데이트된 열직교 인자 $U_{\text{new}}$를 효율적으로 계산할 수 있도록 한다. 방법은 부분공간 불변성을 유지하기 위해 기하학적 접근을 활용하며, 원래 행렬과 수정된 행렬 간의 부분공간 거리도 직접 계산할 수 있도록 한다.

ABSTRACT

We consider rank-one adaptations $X_{new} = X+ab^T$ of a given matrix $X\in \mathbb{R}^{n imes p}$ with known matrix factorization $X = UW$, where $U\in\mathbb{R}^{n imes p}$ is column-orthogonal, i.e. $U^TU=I$. Arguably the most important methods that produce such factorizations are the singular value decomposition (SVD), where $X=UW=U\Sigma V^T$, and the QR-decomposition, where $X = UW = QR$. By using a geometric approach, we derive a closed-form expression for a column-orthogonal matrix $U_{new}$ whose columns span the same subspace as the columns of the rank-one modified $X_{new} = X +ab^T$. This may be interpreted as a rank-one adaptation of the $U$-factor in the SVD or a rank-one adaptation of the $Q$-factor in the QR-decomposition, respectively. As a consequence, we obtain a decomposition for the adapted matrix $X_{new} = U_{new}W_{new}$. Moreover, the formula for $U_{new}$ allows us to determine the subspace distance between the subspaces colspan$(X) =\mathcal{S}$ and colspan$(X_{new}) =\mathcal{S}_{new}$ without additional computational effort. In contrast to the existing approaches, the method does not require a numerical recomputation of the SVD or the QR-decomposition of an auxiliary matrix as an intermediate step.

연구 동기 및 목표

• SVD 및 QR과 같은 행렬 분해에서 랭크-일 수정 $X_{\text{new}} = X + ab^T$ 이후 직교 인자 $U$에 대한 폐쇄형 업데이트를 개발하는 것.
• 기존 방법에서 흔히 발생하는 보조 행렬에 대한 SVD 또는 QR 수치 재계산의 계산 비용을 피하는 것.
• U의 열직교 구조를 유지하면서 $U_{\text{new}}$가 $X_{\text{new}}$와 같은 부분공간을 형성하도록 하는 것.
• 추가 작업 없이도 $\text{col}(X)$와 $\text{col}(X_{\text{new}})$ 간의 부분공간 거리를 직접 계산할 수 있도록 하는 것.
• 특정 행렬 유형이나 구조에 제한되지 않고 임의의 랭크-일 수정에 일반화 가능한 기하학적 프레임워크를 제공하는 것.

제안 방법

• U_{\text{new}}에 대한 폐쇄형 표현을 유도하기 위해 기하학적 접근이 사용되며, 이는 $X_{\text{new}} = X + ab^T$와 같은 열공간을 정확히 유지함을 보장한다.
• 해당 방법은 보조 행렬을 형성하거나 분해하지 않고도 원래의 $U$ 및 랭크-일 수정 벡터 $a$와 $b$에서 직접 $U_{\text{new}}$를 계산한다.
• 업데이트 과정에서 열직교성이 유지되어 $U_{\text{new}}^T U_{\text{new}} = I$가 유지된다.
• 수식은 투영과 부분공간 변화 이론을 사용하여 유도되며, 이는 수치적 안정성과 정확성을 보장한다.
• 동일한 수식을 사용하여 $\mathcal{S} = \text{col}(X)$와 $\mathcal{S}_{\text{new}} = \text{col}(X_{\text{new}})$ 간의 부분공간 거리를 직접 평가할 수 있다.
• 이 방법은 SVD ($X = U\Sigma V^T$)와 QR ($X = QR$) 분해 모두에 적용 가능하며, $U$와 $Q$를 동일한 프레임워크 내에서 직교 인자로 통합하여 처리한다.

실험 결과

연구 질문

• RQ1 임의의 랭크-일 수정 $X_{\text{new}} = X + ab^T$ 이후 SVD 또는 QR의 직교 인자 $U$에 대해 폐쇄형 업데이트를 유도할 수 있는가?
• RQ2 보조 행렬의 SVD 또는 QR을 수치적으로 재계산하지 않고도 $U_{\text{new}}$를 계산할 수 있는가?
• RQ3 업데이트된 $U_{\text{new}}$를 사용하여 $\text{col}(X)$와 $\text{col}(X_{\text{new}})$ 간의 부분공간 거리를 효율적으로 계산할 수 있는가?
• RQ4 랭크-일 변화에 대한 직교 인자의 안정적이고 정확한 업데이트를 뒷받침하는 기하학적 원리는 무엇인가?
• RQ5 제안된 방법은 $U_{\text{new}}$의 열직교성을 유지하면서도 $X_{\text{new}}$의 새로운 열공간을 정확히 포괄하는가?

주요 결과

• 논문은 $X_{\text{new}} = X + ab^T$의 열공간을 정확히 포함하면서도 열직교성을 유지하는 $U_{\text{new}}$에 대한 폐쇄형 표현을 도출한다.
• 해당 방법은 보조 행렬에 대한 SVD 또는 QR의 수치 재계산을 완전히 회피하여 계산 오버헤드를 크게 감소시킨다.
• $\mathcal{S} = \text{col}(X)$와 $\mathcal{S}_{\text{new}} = \text{col}(X_{\text{new}})$ 간의 부분공간 거리는 유도된 $U_{\text{new}}$로부터 추가 계산 없이 직접 계산할 수 있다.
• 기하학적 유도 과정은 $a$와 $b$의 구조에 관계없이 임의의 랭크-일 수정에 대해 수치적 안정성과 정확성을 보장한다.
• 이 방법은 $U$와 $Q$를 동일한 프레임워크 내에서 직교 인자로 다루기 때문에 SVD 및 QR 분해에 대해 일반적이고 균일하게 적용 가능하다.
• 이 방법은 매트릭스가 점진적으로 수정되는 온라인 또는 스트리밍 환경에서 효율적이고 정확한 업데이트를 가능하게 한다.