[論文レビュー] Structural Convergence Results for Low-Rank Approximations from Block Krylov Spaces.

Petros Drineas, Ilse C. F. Ipsen+2 more|arXiv (Cornell University)|Sep 2, 2016

Matrix Theory and Algorithms参考文献 32被引用数 6

ひとこと要約

本稿は、行列 A の低ランク近似に対するブロック Krylov 空間 𝒦_q(AA^T, AX) を用いた収束バウンドを確立し、主角度を用いて Krylov 空間と支配的左特異部分空間の距離を分析する。最良の低ランク近似に対する近似の品質保証を提供し、誤差バウンドは初期ブロック X と A の右特異部分空間の間の主角度の正接に依存する。

ABSTRACT

This paper is concerned with approximating the dominant left singular vector space of a real matrix $A$ of arbitrary dimension, from block Krylov spaces $\mathcal{K}_q(AA^T,AX)$. Two classes of results are presented. First are bounds on the distance, in the two and Frobenius norms, between the Krylov space and the target space. The distance is expressed in terms of principal angles. Second are quality of approximation bounds, relative to the best low-rank approximation in the Frobenius norm. For starting guesses $X$ of full column-rank, the bounds depend on the tangent of the principal angles between $X$ and the dominant right singular vector space of $A$. The results presented here form the structural foundation for the analysis of randomized Krylov space methods. The innovative feature is a combination of traditional Lanczos convergence analysis with optimal low-rank approximations via least squares problems.

研究の動機と目的

• 行列 A の支配的左特異部分空間をブロック Krylov 空間がどの程度適切に近似できるかを分析すること。
• 2 ノルムおよびフロベニウス ノルムを用いて、生成された Krylov 空間とターゲット特異部分空間の距離のバウンドを導出すること。
• フロベニウス ノルムにおいて、最良の可能な低ランク近似に対する近似誤差を定量化すること。
• 主角度に基づく誤差解析を通じて、確率的 Krylov 空間手法の構造的基盤を確立すること。
• 伝統的なランチョス収束理論と最小二乗法による最適な低ランク近似を組み合わせること。

提案手法

• 行列 A の支配的左特異ベクトルの近似部分空間を生成するために、ブロック Krylov 空間 𝒦_q(AA^T, AX) を用いる。
• Krylov 空間とターゲット特異部分空間の幾何的距離を測るために主角度を用いる。
• 部分空間間の主角度を用いて、2 ノルムおよびフロベニウス ノルムにおける誤差バウンドを導出する。
• 初期ブロック X と A の右特異部分空間の間の主角度の正接を用いて、近似の品質を表現する。
• 最小二乗最適化を適用して、Krylov に基づく近似と最適な低ランク近似を結びつける。
• ランチョス風の収束解析と低ランク近似理論を組み合わせることで、タイトな誤差バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 ブロック Krylov 空間 𝒦_q(AA^T, AX) は、行列 A の支配的左特異部分空間をどの程度適切に近似するか？
• RQ2 初期ブロック X と A の右特異部分空間の間の主角度と、近似誤差との関係は何か？
• RQ3 フロベニウス ノルムにおいて、Krylov に基づく近似の品質は、最良の可能な低ランク近似と比べてどの程度か？
• RQ4 主角度と角度に基づく誤差指標を用いて、ブロック Krylov 方法の収束を分析できるか？
• RQ5 このフレームワークを用いて、確率的 Krylov 空間手法に対してどのような構造的保証を導出できるか？

主な発見

• 主角度を用いて、ブロック Krylov 空間と支配的左特異部分空間の距離が 2 ノルムおよびフロベニウス ノルムでバウンドされる。
• 最良の低ランク近似に対する近似誤差は、初期ブロック X と A の右特異部分空間の間の主角度の正接に依存する。
• 初期ブロック X がフル列ランクの場合、誤差バウンドは X と支配的右特異空間との幾何的整合性に明示的に関連づけられる。
• 本手法は、確率的 Krylov 空間アルゴリズムの分析を支援する構造的フレームワークを提供する。
• ランチョス収束解析と最小二乗に基づく低ランク近似の組み合わせにより、タイトで解釈可能な誤差バウンドが得られる。
• 本結果は、効率的な確率的行列近似手法の設計と分析の理論的基盤を確立する。