[論文レビュー] Provably Correct Algorithms for Matrix Column Subset Selection with Selectively Sampled Data

Yining Wang, Aarti Singh|arXiv (Cornell University)|May 17, 2015

Sparse and Compressive Sensing Techniques参考文献 36被引用数 6

ひとこと要約

本稿は、理論的保証を伴うフィードバック駆動型サンプリングを用いて、部分的に観測されたデータにおける行列の列サブセット選択のための、初めての証明可能に正しいアルゴリズムを提案する。非一様な行の非一貫性仮定の下で相対誤差バウンドを確立し、特に高い相関を持つ列を有する行列において、一様サンプリングを上回る優れた性能を示す。

ABSTRACT

We consider the problem of matrix column subset selection, which selects a subset of columns from an input matrix such that the input can be well approximated by the span of the selected columns. Column subset selection has been applied to numerous real-world data applications such as population genetics summarization, electronic circuits testing and recommendation systems. In many applications the complete data matrix is unavailable and one needs to select representative columns by inspecting only a small portion of the input matrix. In this paper we propose the first provably correct column subset selection algorithms for partially observed data matrices. Our proposed algorithms exhibit different merits and limitations in terms of statistical accuracy, computational efficiency, sample complexity and sampling schemes, which provides a nice exploration of the tradeoff between these desired properties for column subset selection. The proposed methods employ the idea of feedback driven sampling and are inspired by several sampling schemes previously introduced for low-rank matrix approximation tasks (Drineas et al., 2008; Frieze et al., 2004; Deshpande and Vempala, 2006; Krishnamurthy and Singh, 2014). Our analysis shows that, under the assumption that the input data matrix has incoherent rows but possibly coherent columns, all algorithms provably converge to the best low-rank approximation of the original data as number of selected columns increases. Furthermore, two of the proposed algorithms enjoy a relative error bound, which is preferred for column subset selection and matrix approximation purposes. We also demonstrate through both theoretical and empirical analysis the power of feedback driven sampling compared to uniform random sampling on input matrices with highly correlated columns.

研究の動機と目的

• 実世界の応用（遺伝学やレコメンデーションシステムなど）で一般的に見られる、データ行列への部分的アクセスしか得られない状況における列サブセット選択の課題に対処すること。
• 観測された行列エントリの部分集合のみを用いて、低ランク近似に関する理論的保証を提供するアルゴリズムを開発すること。
• 既存のヒューリスティック手法の限界を克服し、不完全なデータ行列に対して証明可能に正しいサンプリング戦略を導入すること。
• 部分観測下における列選択において、統計的精度、計算効率、サンプル複雑性、およびサンプリング方式のトレードオフを調査すること。
• 特に高い相関を持つ列を有する行列において、フィードバック駆動型サンプリングが一様ランダムサンプリングを上回ることを示すこと。

提案手法

• 先行の低ランク近似サンプリング手法（例：Drineasら、2008；Frieze ら、2004）にインspiredされたフィードバック駆動型サンプリング戦略を提案し、不完全なデータに適応する。
• リベッジスコアと行列の非一貫性仮定（特に非一貫性のある行、ただし一貫性のある列が許容される）を用いて列選択をガイドし、理論的収束を保証する。
• 計算効率、統計的精度、サンプル複雑性の異なるトレードオフを考慮した複数のアルゴリズムを設計する。
• 列サブセット選択問題を、残差のフロベニウスノルムを最小化する問題として定式化する：$ \|\mathbf{M} - \mathbf{C}\mathbf{C}^\dagger\mathbf{M}\|_F $、ここで$ \mathbf{C} $ は選択された列部分行列である。
• 選択された列数が増加するにつれて、元の行列の最良の低ランク近似に理論的に収束することを確立する。
• ヤオの原理を適用し、ハードな入力インスタンスを構築することで、サンプル複雑性の下界を導出し、提案されたサンプリング方式の最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 行列の一部のみが観測可能である状況において、証明可能に正しい列サブセット選択アルゴリズムを設計できるか？
• RQ2 高い相関を持つ列を有する行列において、フィードバック駆動型サンプリングは一様ランダムサンプリングと比較して、近似精度でどのように差をつけるか？
• RQ3 部分観測下における列サブセット選択において、統計的精度、計算効率、サンプル複雑性のトレードオフは何か？
• RQ4 どのような条件下で、提案されたアルゴリズムが加法的誤差バウンドではなく相対誤差バウンドを達成するか？
• RQ5 入力行列の行が非一貫性であるが、列が一貫性を持つ可能性がある場合に、列サブセット選択に対して理論的保証を確立できるか？

主な発見

• 行の非一貫性仮定の下で、選択された列数が増加するにつれて、提案されたアルゴリズムは元の行列の最良の低ランク近似に証明可能に収束する。
• 提案されたアルゴリズムのうち2つは、相対誤差バウンド $ \|\mathbf{M} - \mathbf{C}\mathbf{C}^\dagger\mathbf{M}\|_F \leq c\|\mathbf{M} - \mathbf{M}_k\|_F $ を達成し、$ c = 1 + \epsilon $ となる。これは、行列近似および列サブセット選択において好ましい。
• フィードバック駆動型サンプリングは、高い相関を持つ列を有する行列において、理論的にも実験的にも一様ランダムサンプリングを著しく上回る。
• アルゴリズムのサンプル複雑性は有界であり、ヤオの原理を用いて導出された下界により、必要な観測数を最小化する点で、サンプリング方式が近似的に最適であることが示された。
• 理論的解析により、行の非一貫性条件が満たされる限り、行列エントリのわずかな割合しか観測されていなくても、アルゴリズムが強い近似保証を維持することが確認された。
• このフレームワークにより、精度、効率、サンプルサイズの間のトレードオフを体系的かつ原則的（principled）に探ることができ、不完全なデータを扱う実世界の応用に柔軟なツールキットを提供する。