[論文レビュー] Low-Rank Matrix and Tensor Completion via Adaptive Sampling

Akshay Krishnamurthy, Aarti Singh|arXiv (Cornell University)|Apr 17, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用数 87

ひとこと要約

本稿では、情報量の多い列に焦点を当てることで、サンプル複雑性を著しく低減する低ランク行列およびテンソル補完のための適応的サンプリングアルゴリズムを提案する。列空間を最も効果的に露わにする列を標的にすることで、適応的特性を活用し、n×nのランクrの行列を正確に回復するために、たったΩ(nr^{3/2} log r)個のエントリで十分である。これは、被動的サンプリング手法を改善し、行空間の非一様性仮定を必要としない。

ABSTRACT

We study low rank matrix and tensor completion and propose novel algorithms that employ adaptive sampling schemes to obtain strong performance guarantees. Our algorithms exploit adaptivity to identify entries that are highly informative for learning the column space of the matrix (tensor) and consequently, our results hold even when the row space is highly coherent, in contrast with previous analyses. In the absence of noise, we show that one can exactly recover a n × n matrix of rank r from merely Ω(nr^3/2 log(r)) matrix entries. We also show that one can recover an order T tensor using Ω(nr^{T −1/2}T² log(r)) entries. For noisy recovery, our algorithm consistently estimates a low rank matrix corrupted with noise using Ω(nr^3/2polylog(n)) entries. We complement our study with simulations that verify our theory and demonstrate the scalability of our algorithms.

研究の動機と目的

• 低ランク行列およびテンソル補完のためのサンプル数を削減する適応的サンプリングアルゴリズムの開発。
• 従来の研究で一般的に用いられる行空間の非一様性仮定の必要性を排除すること。
• ノイズなしおよびノイズありの行列およびテンソル補完における理論的サンプル複雑性バウンドの提供。
• シミュレーションを通じたスケーラビリティおよび実験的妥当性の検証。
• 欠損データ下での部分空間検出および列サブセット選択における既存の結果の改善。

提案手法

• アルゴリズムは、列空間を推定する上で最も情報量の多い行列またはテンソルの列を適応的に選択する。
• ストリーミング手法を用い、逐次的に、潜在的な低ランク構造に関する情報量の増加が最大となる列を特定・サンプリングする。
• ノイズあり回復のため、Deshpandeら[10]の列サブセット選択手順を欠損データおよびノイズに対応可能に拡張する。
• 集中不等式（特にベルヌーイの不等式）を用いて、非一様性および部分空間回復誤差をバウンドする理論的保証を導出する。
• 確率的行列理論および非一様性の性質を活用し、行空間が非一様であっても安定な回復を保証する。
• テンソルの場合、列サンプリング戦略を高次元モードへ拡張し、モード-t部分テンソルを用いて適応的選択を誘導する。

実験結果

リサーチクエスチョン

• RQ1 適応的サンプリングは、被動的サンプリングの境界を下回るサンプル数で、正確な低ランク行列補完を実現できるか？
• RQ2 適応的特性により、行列の行空間における非一様性仮定が不要な正確な回復が可能か？
• RQ3 適応的サンプリングを用いた正確なテンソル補完の最適なサンプル複雑性は何か？
• RQ4 ノイズが存在する状況において、被動的手法と比較して適応的サンプリングはどのように性能を発揮するか？
• RQ5 部分観測下で、提案手法は既存の列サブセット選択および部分空間検出技術を改善できるか？

主な発見

• 本稿では、ランクrのn×n行列の正確な回復に、Ω(nr^{3/2} log r)個の適応的サンプリングエントリが十分であることを確立している。これは、被動的サンプリングの境界Ω(nr^2 log^2 n)を改善する。
• T階テンソルの場合、Ω(nr^{T-1/2T^2} log r)個のエントリで正確な回復が達成され、これは正確なテンソル補完における最初のサンプル複雑性上界を提供する。
• 本手法は、行空間が非一様であっても、行列補完のための理論的保証を初めて提供し、従来の研究における主要な制限要因を排除する。
• ノイズありの設定では、行空間の非一様性を仮定せず、Ω(nr^{3/2} polylog(n))個のサンプルで一貫的な低ランク近似が達成される。
• 理論的分析により、適応的戦略は任意の被動的アルゴリズムと同等の性能を示すことが判明し、テンソル補完における確率的サンプリングの必要条件を満たしている。
• シミュレーションにより理論的予測が妥当であることが確認され、提案手法のスケーラビリティおよび実用的有効性が示された。