[論文レビュー] A Simple Approach to Optimal CUR Decomposition

Haishan Ye, Yujun Li+1 more|arXiv (Cornell University)|Nov 5, 2015

Sparse and Compressive Sensing Techniques参考文献 15被引用数 3

ひとこと要約

本稿では、BSS や適応的サンプリングを必要とせず、リーディングスコアサンプリングのみを用いて最適な CUR 分解および近似的に最良の列再構成を実現する、新規で効率的なアプローチを提示する。本手法は、最初の O(nnz(A)) 最適 CUR アルゴリズムを達成し、O(nnz(A)) または Õ(n²) の実行時間でネイストルム法へ拡張可能であり、従来の手法に比べて著しく効率的である。

ABSTRACT

Prior optimal CUR decomposition and near optimal column reconstruction methods have been established by combining BSS sampling and adaptive sampling. In this paper, we propose a new approach to the optimal CUR decomposition and near optimal column reconstruction by just using leverage score sampling. In our approach, both the BSS sampling and adaptive sampling are not needed. Moreover, our approach is the first $O(\mathrm{nnz}(\A))$ optimal CUR algorithm where $\A$ is a data matrix in question. We also extend our approach to the Nystr{ö}m method, obtaining a fast algorithm which runs $ ilde{O}(n^{2})$ or $O(\mathrm{ nz}(\A))$

研究の動機と目的

• 複雑なサンプリング戦略に依存せずに、より単純で効率的な最適な CUR 分解の手法を開発すること。
• CUR 分解における BSS サンプリングおよび適応的サンプリングの必要性を排除し、アルゴリズムのパイプラインを単純化すること。
• 最適な CUR 分解に対して O(nnz(A)) の時間計算量を達成することにより、従来の手法を改善すること。
• 提案手法をネイストルム法へ拡張し、高速で効率的な低ランク近似を可能にすること。

提案手法

• 本手法は、BSS や適応的サンプリングの代わりに、リーディングスコアサンプリングのみを用いて、CUR 分解のための列と行を選択する。
• リーディングスコアを計算して、最も情報量の多い列と行を特定し、高品質な低ランク近似を保証する。
• アルゴリズムは、サンプリングされた列と行から直接 CUR 分解を構築し、近似誤差の最適性を維持する。
• 同じリーディングスコアサンプリング戦略をカーネル行列に適用することで、ネイストルム法への応用を実現する。
• 理論的分析により、本手法が、O(nnz(A)) の操作で高確率で最適な近似誤差を達成できることを示している。
• 本手法は、反復的または適応的なサンプリングステップを回避するように設計されており、単純かつ効率的である。

実験結果

リサーチクエスチョン

• RQ1 BSS や適応的サンプリングを用いずに、リーディングスコアサンプリングのみで最適な CUR 分解を達成できるか？
• RQ2 リーディングスコアサンプリングにのみ依存する CUR 分解アルゴリズムの計算量は何か？
• RQ3 リーディングスコアベースのアプローチは、カーネル行列近似のネイストルム法へ拡張可能か？
• RQ4 提案手法は、最小限の計算コストで最適な近似誤差を達成するか？

主な発見

• 提案手法は、BSS や適応的サンプリングを完全に排除し、リーディングスコアサンプリングのみで最適な CUR 分解を達成した。
• アルゴリズムは O(nnz(A)) の時間で実行され、これは最初の O(nnz(A)) 最適 CUR アルゴリズムである。
• 同じサンプリング戦略を活用することで、近似的に最良の列再構成が実現された。
• 本手法はネイストルム法へも成功裏に拡張され、O(nnz(A)) または Õ(n²) の実行時間で動作した。