[論文レビュー] A closed-form update for orthogonal matrix decompositions under arbitrary rank-one modifications

Ralf Zimmermann|arXiv (Cornell University)|Nov 22, 2017

Matrix Theory and Algorithms被引用数 4

ひとこと要約

本稿では、SVD や QR などの直交行列分解に対して、任意のランク1変更のもとで閉形式の更新を提示する。これにより、補助行列の SVD や QR を再計算せずに、更新された列直交因子 $U_{\text{new}}$ を効率的に計算できる。この手法は、部分空間不変性を維持する幾何的アプローチを用い、元の行列と変更後の行列間の部分空間距離を直接計算可能である。

ABSTRACT

We consider rank-one adaptations $X_{new} = X+ab^T$ of a given matrix $X\in \mathbb{R}^{n imes p}$ with known matrix factorization $X = UW$, where $U\in\mathbb{R}^{n imes p}$ is column-orthogonal, i.e. $U^TU=I$. Arguably the most important methods that produce such factorizations are the singular value decomposition (SVD), where $X=UW=U\Sigma V^T$, and the QR-decomposition, where $X = UW = QR$. By using a geometric approach, we derive a closed-form expression for a column-orthogonal matrix $U_{new}$ whose columns span the same subspace as the columns of the rank-one modified $X_{new} = X +ab^T$. This may be interpreted as a rank-one adaptation of the $U$-factor in the SVD or a rank-one adaptation of the $Q$-factor in the QR-decomposition, respectively. As a consequence, we obtain a decomposition for the adapted matrix $X_{new} = U_{new}W_{new}$. Moreover, the formula for $U_{new}$ allows us to determine the subspace distance between the subspaces colspan$(X) =\mathcal{S}$ and colspan$(X_{new}) =\mathcal{S}_{new}$ without additional computational effort. In contrast to the existing approaches, the method does not require a numerical recomputation of the SVD or the QR-decomposition of an auxiliary matrix as an intermediate step.

研究の動機と目的

• SVD や QR などの行列分解における直交因子 $U$ のランク1変更 $X_{\text{new}} = X + ab^T$ 後の閉形式更新を考案すること。
• 既存手法で一般的な補助行列の SVD や QR を数値的に再計算する計算コストを回避すること。
• 更新された $U_{\text{new}}$ が列直交構造を保ちつつ、$X_{\text{new}}$ と同じ部分空間を張ることを保証すること。
• 追加作業なしに、$\text{col}(X)$ と $\text{col}(X_{\text{new}})$ 間の部分空間距離を直接計算可能にすること。
• 特定の行列型や構造に制限されない、任意のランク1更新に一般化可能な幾何的枠組みを提供すること。

提案手法

• 部分空間不変性を保つために、$U_{\text{new}}$ が $X_{\text{new}} = X + ab^T$ と同じ列空間を張ることを保証する幾何的アプローチを用いて、$U_{\text{new}}$ の閉形式表現を導出する。
• 補助行列の形成や分解を一切行わず、元の $U$ およびランク1更新ベクトル $a$ と $b$ からのみ $U_{\text{new}}$ を直接計算する。
• 列直交性が保持されるため、$U_{\text{new}}^T U_{\text{new}} = I$ が維持される。
• 射影と部分空間摂動理論を用いて $U_{\text{new}}$ の式を導出し、数値的安定性と正しさを保証する。
• 同じ式を用いて、$\mathcal{S} = \text{col}(X)$ と $\mathcal{S}_{\text{new}} = \text{col}(X_{\text{new}})$ 間の部分空間距離を直接評価可能である。
• SVD ($X = U\Sigma V^T$) と QR ($X = QR$) の両方の分解に適用可能であり、$U$ と $Q$ を同一の枠組みで直交因子として扱う。

実験結果

リサーチクエスチョン

• RQ1 任意のランク1変更 $X_{\text{new}} = X + ab^T$ 後の SVD や QR における直交因子 $U$ に対して、閉形式更新を導出可能か？
• RQ2 補助行列の SVD や QR を数値的に再計算せずに $U_{\text{new}}$ を計算可能か？
• RQ3 更新された $U_{\text{new}}$ を用いて、$\text{col}(X)$ と $\text{col}(X_{\text{new}})$ 間の部分空間距離を効率的に計算する方法は？
• RQ4 ランク1摂動下での直交因子の安定的かつ正確な更新を支える幾何的原理は何か？
• RQ5 提案手法は、$U_{\text{new}}$ の列直交性を維持するとともに、$X_{\text{new}}$ の新しい列空間を正しく捉えているか？

主な発見

• 本稿では、$X_{\text{new}} = X + ab^T$ の列空間を正確に張る $U_{\text{new}}$ の閉形式表現を導出しており、列直交性も保持されている。
• 補助行列の SVD や QR の数値的再計算を一切回避しており、計算オーバーヘッドを顕著に低減している。
• $\mathcal{S} = \text{col}(X)$ と $\mathcal{S}_{\text{new}} = \text{col}(X_{\text{new}})$ 間の部分空間距離は、導出した $U_{\text{new}}$ から追加計算なしに直接評価可能である。
• 幾何的導出により、$a$ や $b$ の構造に依存しない、任意のランク1更新に対して数値的安定性と正しさが保証されている。
• SVD と QR の両方の分解に一様に適用可能であり、$U$ と $Q$ を同一のフレームワークで直交因子として扱える一般性を持つ。
• オンラインまたはストリーミング環境における行列の段階的変更において、効率的かつ正確な更新を実現可能である。