[論文レビュー] Near-Optimal Column-Based Matrix Reconstruction

Christos Boutsidis, Petros Drineas+1 more|arXiv (Cornell University)|Mar 4, 2011

Sparse and Compressive Sensing Techniques参考文献 22被引用数 66

ひとこと要約

本稿では、部分的な列を用いた低ランク行列再構成に対して、漸近的に最適で多項式時間の決定的および確率的アルゴリズムを提示する。スペクトルノルムおよびフロベニウスノルムの誤差がほぼ最適に達成される。高速な近似特異値分解に類似した分解と、恒等行列のスパース表現に基づく新しい決定的列選択技術を導入し、タイトな境界を伴う列に基づく行列近似に関する未解決の問題を解決する。

ABSTRACT

We consider low-rank reconstruction of a matrix using its columns and we present asymptotically optimal algorithms for both spectral norm and Frobenius norm reconstruction. The main tools we introduce to obtain our r esults are: (i) the use of fast approximate SVD-like decompositions for column reconstruction, and (ii) two deter ministic algorithms for selecting rows from matrices with orthonormal columns, building upon the sparse represen tation theorem for decompositions of the identity that appeared in \cite{BSS09}.

研究の動機と目的

• 行列 A から r ≫ k 個の列を選択して、それらを用いて A を再構成するアルゴリズムを、A_k（最良の低ランク近似）に近い誤差で行う多項式時間のアルゴリズムを開発すること。
• フロベニウスノルムにおける相対誤差再構成に必要な最小の列数に関する未解決の問題を解消すること。
• スペクトルノルムおよびフロベニウスノルムの両方において、漸近的に最適な近似保証を達成すること。これは、すでに示された下界と一致する。
• 誤差境界の観点から、確率的手法の性能を上回る決定的アルゴリズムを提供すること。これにより、既存の上界を改善する。

提案手法

• 高速な近似特異値分解に類似した分解を活用し、効率的な列に基づく行列再構成を可能にする。
• 正規直交列をもつ行列からの行選択のための2つの決定的アルゴリズムを導入。これらは恒等行列のスパース表現定理に基づく。
• 誤差をブロックに分解し、基数制約の下でトレースを最小化する新しい解析フレームワークを採用する。
• 適応的選択を伴う確率的サンプリングを用い、O(k/ε) 個の列を選択することで、フロベニウスノルムにおける相対誤差再構成を達成する。
• 誤差行列をブロック対角形式として解析し、固定された列数の制約の下でそのトレースを最小化することで誤差境界を導出する。
• 再構成誤差を最小化するために、選択された列 C の列空間上への射影にモア・ペンローズ一般逆行列 C⁺ を用いる。

実験結果

リサーチクエスチョン

• RQ1 フロベニウスノルムにおける相対誤差再構成を達成するために必要な最小の列数は何か？ そして、これは効率的に達成可能か？
• RQ2 決定的アルゴリズムは、スペクトルノルムおよびフロベニウスノルムの両方において、確率的手法の性能を再現できるか？
• RQ3 スペクトルノルムおよびフロベニウスノルムの両方において、漸近的に最適な誤差境界を達成するアルゴリズムを構築することは可能か？
• RQ4 誤差境界は、選択された列数 r とターゲットランク k に対してどのようにスケーリングされるか？
• RQ5 最良の低ランク近似 A_k ではなく、最適な列選択に対する相対的な近似因子を境界化することは可能か？

主な発見

• 本稿では、フロベニウスノルム再構成誤差に対する下界を確立し、提案されたアルゴリズムの上界と一致させることで、漸近的最適性を証明する。
• フロベニウスノルムにおいては、O(k/ε) 個の列があれば、相対誤差 (1+ε)‖A−A_k‖_F を達成可能であり、これは既知の Ω(k/ε) 下界と一致する。
• 提案された確率的アルゴリズムは、サブ特異値分解時間で実行され、以前の最良上界 O(k log k + k/ε) よりも改善されている。
• 提案されたアルゴリズムのスペクトルノルム再構成誤差は、証明された下界と漸近的に一致し、ほぼ最適性を達成する。
• 決定的アルゴリズムは、確率的手法と同等の誤差保証を達成しており、理論的保証を伴う列選択のデランドマイゼーションの道筋を提供する。
• 本稿では、C の列空間内での最良のランク-k 近似に対する誤差境界 ‖A−Π_C,k^F(A)‖_F² が、最適な列選択に基づいて境界化可能であることを示しているが、正確な近似因子は未解決の問題のままである。