[論文レビュー] Matrix Decomposition and Applications

Jun Lü|arXiv (Cornell University)|Jan 1, 2022

Matrix Theory and Algorithms被引用数 11

ひとこと要約

本稿は、LU、QR、SVD、コレスキーといった古典的手法と、CUR、補間的、ランクを露わにする分解といった現代的拡張を統合する、行列分解技術の包括的かつ理論的・応用的探求を提示する。biconjugate分解とWedderburn系列を用いた新規フレームワークにより、直交変換と行列因子分解に基づく再帰的ランク低減プロセスを通じて、SVDを含む主要な分解同士の同等性を導出し、証明する。

ABSTRACT

In 1954, Alston S. Householder published Principles of Numerical Analysis, one of the first modern treatments on matrix decomposition that favored a (block) LU decomposition-the factorization of a matrix into the product of lower and upper triangular matrices. And now, matrix decomposition has become a core technology in machine learning, largely due to the development of the backpropagation algorithm in fitting a neural network. The sole aim of this survey is to give a self-contained introduction to concepts and mathematical tools in numerical linear algebra and matrix analysis in order to seamlessly introduce matrix decomposition techniques and their applications in subsequent sections. However, we clearly realize our inability to cover all the useful and interesting results concerning matrix decomposition, given the paucity of scope to present this discussion, e.g., the separated analysis of the Euclidean space, Hermitian space, Hilbert space, and things in the complex domain. We refer the reader to literature in the field of linear algebra for a more detailed introduction to the related fields.

研究の動機と目的

• 古典的および現代的行列分解技術を結びつける統一的理論的フレームワークを提供すること。
• 特にランクを露わにするおよびピボット戦略に従う場合の、さまざまな分解の存在および計算的条件を厳密に確立すること。
• Wedderburn系列の再帰を用いてSVDとbiconjugate分解の同等性を示すこと。
• 線形方程式系の解法、低ランク近似、機械学習および最適化分野におけるデータ精錬のための実用的ツールを提供すること。
• 理論的行列解析と、データサイエンス、ニューラルネットワーク、高次元解析分野における実世界の応用を橋渡しすること。

提案手法

• Wedderburn系列を用いた再帰的ランク低減により行列分解を導出する：Ak+1 = Ak − w−1k Akxky⊤k Ak。
• 二重基底XとYを用いたbiconjugate分解を適用し、AをAXW−1Y⊤Aとして表現することで、構造的低ランク近似を可能にする。
• ハウスホルダー反射とギヴィングス回転を用いて直交変換を適用し、安定的かつ数値的に頑健な分解を達成する。
• Xn = Vsvd、Yn = Usvd、Ωn = Σsvdと設定することで、SVDとbiconjugate分解の同等性を確立する。
• LUおよびQR分解における完全ピボット、ルークピボット、部分ピボットを用いたランクを露わにする戦略を導入し、数値的安定性を向上させる。
• 再帰的に定義されたベクトルukとvkに関する帰納的証明を用いて、Wedderburn系列の一般項の公式を導出する。

実験結果

リサーチクエスチョン

• RQ1 SVDは、Wedderburn系列を用いたbiconjugate分解フレームワークの特別な場合としてどのように導出可能か？
• RQ2 非ゼロの主小行列式を持つ行列に対して、置換を伴う・伴わないLU分解の存在を保証する条件は何か？
• RQ3 ランクを露わにする分解、たとえばRRQRやCURは、行列因子分解および低ランク近似の広範なフレームワークとどのように関係するか？
• RQ4 Wedderburn系列は、行列分解全体にわたってランク1更新および低減を一般化する役割を果たすか？
• RQ5 biconjugate分解は、SVD、極座標分解、シュール分解といった見た目が異なる分解をどのように統一できるか？

主な発見

• SVDは、Xn = VsvdおよびYn = Usvd、Ωn = Σsvdと設定した場合、biconjugate分解の特別な場合として形式的に示された。
• Wedderburn系列は一般項の公式を有する：Ak = A − ∑k−1i=1 w−1i Aui v⊤i A、ここでuiとviは再帰的に定義されたベクトルである。
• Aが正則であるため、Ωnが正定値であることに基づき、行列A⊤AがR⊤Rに因数分解されることを証明した。
• Xn = VsvdおよびYn = Usvdのとき、Y⊤n AXn = Σsvdであることを示すことにより、biconjugate分解とSVDの同等性が検証された。
• 分解から直交行列Q = VnΩ−1/2nが導出され、SVDの導出における変換の直交性が確認された。
• ランク低減定理が一般化された：rank(A − AXW−1Y⊤A) = rank(A) − rank(AXW−1Y⊤A)、これはランク1の場合からk次元更新へと拡張された。