[論文レビュー] Why are Big Data Matrices Approximately Low Rank?

Madeleine Udell, Alex Townsend|arXiv (Cornell University)|May 21, 2017

Sparse and Compressive Sensing Techniques参考文献 34被引用数 8

ひとこと要約

この論文は、レコメンデーションシステムやゲノム分野の応用における大きなデータ行列が、有界で滑らかな潜在変数の関数としてモデル化されることで、なぜ近似的に低ランクであるかを説明している。このような行列は、行列サイズに対して対数的にしか増加しないランクの低ランク行列によって、固定誤差内に要素ごとの近似が可能であることを証明しており、データサイエンスにおける低ランク手法の広範な成功の理論的基盤を提供する。

ABSTRACT

Matrices of (approximate) low rank are pervasive in data science, appearing in recommender systems, movie preferences, topic models, medical records, and genomics. While there is a vast literature on how to exploit low rank structure in these datasets, there is less attention on explaining why the low rank structure appears in the first place. Here, we explain the effectiveness of low rank models in data science by considering a simple generative model for these matrices: we suppose that each row or column is associated to a (possibly high dimensional) bounded latent variable, and entries of the matrix are generated by applying a piecewise analytic function to these latent variables. These matrices are in general full rank. However, we show that we can approximate every entry of an $m imes n$ matrix drawn from this model to within a fixed absolute error by a low rank matrix whose rank grows as $\mathcal O(\log(m + n))$. Hence any sufficiently large matrix from such a latent variable model can be approximated, up to a small entrywise error, by a low rank matrix.

研究の動機と目的

• ランダム行列が通常フルランクであるのに対し、現実世界のデータ行列に低ランク構造が広く見られる理由を説明すること。
• 自然に近似的に低ランクな振る舞いを生じる、滑らかで有界な潜在変数に基づくデータ行列の生成モデルを形式化すること。
• このような行列に対する低ランク行列による要素ごとの近似誤差の理論的境界を確立すること。
• 与えられた近似誤差に対して必要なランクが行列サイズとともにゆっくりと（対数的に）増加することを示し、低ランク手法の有効性を正当化すること。
• 明確な低次元物理的解釈（例：トピックやジャンル）が存在しない場合でも、低ランク近似がなぜ有効であるかの理論的根拠を提供すること。

提案手法

• 各行と各列が高次元空間内の有界で滑らかな潜在変数に対応する潜在変数モデルを提案する。
• 行列要素を潜在変数の区分的解析的関数としてモデル化することで、滑らかさと有界性を保証する。
• ジョンソン–リンデンストラウス補題を適用し、高次元の潜在点を低次元空間に埋め込むことで、対照的な距離を近似的に保存できることを示す。
• この埋め込みを用いて、最大要素ごとの誤差を制御する低ランク近似を構築する。
• 行列サイズ $n$ と誤差許容値 $ε$ の関数として、$ε$-ランク（要素ごとの誤差 $≤ \epsilon$ を満たすために必要な最小ランク）の理論的境界を導出する。
• 対称的モデル（例：グラフオン）や区分的解析的関数へと分析を拡張し、同様の対数的ランク増加が成り立つことを示す。

実験結果

リサーチクエスチョン

• RQ1 ランダム行列が通常フルランクであるのに対し、データサイエンス分野の大きな現実世界のデータ行列がなぜしばしば低ランク構造を示すのか？
• RQ2 高次元の潜在変数から導かれる行列に、低ランク構造がどのようにして出現するかを理論的モデルで説明できるか？
• RQ3 潜在空間の次元と、与えられた要素ごとの誤差内で行列を近似するために必要なランクの関係は何か？
• RQ4 滑らかな潜在変数モデルのもとで、固定要素ごとの誤差に対して必要なランクが、行列サイズとともにゆっくりと（例：対数的に）増加するか？
• RQ5 解釈可能な低次元構造（例：トピックやジャンル）がデータの背後に存在しない場合でも、低ランク近似がどれほど有効に機能するのか？

主な発見

• 滑らかで良い性質を持つ潜在変数モデルから生成された行列は、固定された絶対誤差 $\epsilon$ 内で、ランクが $\mathcal{O}(\log n / \epsilon^2)$ に比例して増加する低ランク行列によって要素ごとに近似可能である。
• 誤差許容値 $\epsilon$ が与えられたとき、$n \times n$ 行列の $ε$-ランクは $n$ に対して対数的に増加するが、線形には増加しない。
• 潜在構造が高次元的または非線形的であっても、潜在変数から行列要素への写像が区分的解析的であれば、この結果は成り立つ。
• ジョンソン–リンデンストラウス補題は、低ランク近似に必要な構造を保つために、低次元埋め込みが有効であることを証明する上で中心的な役割を果たす。
• 理論的境界は、十分に大きな $n$ に対して、固定された $\epsilon$ に対して必要なランクが $n$ よりもはるかに小さくなることを示しており、低ランク手法の実験的有効性を説明する。
• 数値実験により理論的予測が確認された：$n$ が大きい場合、必要なランクは概ね対数的に増加するが、$n$ や $\epsilon$ が小さい場合には線形的に増加する可能性がある。