[論文レビュー] Blind Regression via Nearest Neighbors under Latent Variable Models

Christina Lee, Yihua Li+2 more|arXiv (Cornell University)|May 13, 2017

Sparse and Compressive Sensing Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、潜在変数モデル下での行列およびテンソル補完に対して、隣接する要素に依存するブラインド回帰手法を提案する。局所的な滑らかさを最近傍により活用することで、観測されていない要素を推定する。少なくとも $\max(m^{-1+\delta}, n^{-1/2+\delta})$ 個の要素が観測されている場合に一貫性が保証され、協調フィルタリングの理論的改善をもたらし、実世界のデータセットでも競争力のある性能を示す。

ABSTRACT

We consider the setup of nonparametric 'blind regression' for estimating the entries of a large $m imes n$ matrix, when provided with a small, random fraction of noisy measurements. We assume that all rows $u \in [m]$ and columns $i \in [n]$ of the matrix are associated to latent features $x_1(u)$ and $x_2(i)$ respectively, and the $(u,i)$-th entry of the matrix, $A(u, i)$ is equal to $f(x_1(u), x_2(i))$ for a latent function $f$. Given noisy observations of a small, random subset of the matrix entries, our goal is to estimate the unobserved entries of the matrix as well as to de-noise the observed entries. As the main result of this work, we introduce a neighbor-based estimation algorithm inspired by the classical Taylor's series expansion. We establish its consistency when the underlying latent function $f$ is Lipschitz, the latent features belong to a compact domain, and the fraction of observed entries in the matrix is at least $\max \left(m^{-1 + \delta}, n^{-1/2 + \delta} ight)$, for any $\delta > 0$. As an important byproduct, our analysis sheds light into the performance of the classical collaborative filtering (CF) algorithm for matrix completion, which has been widely utilized in practice. Experiments with the MovieLens and Netflix datasets suggest that our algorithm provides a principled improvement over basic CF and is competitive with matrix factorization methods. Our algorithm has a natural extension to tensor completion. For a $t$-order balanced tensor with total of $N$ entries, we prove that our approach provides a consistent estimator when at least $N^{-\frac{\lfloor 2t/3 floor}{2t}+ \delta}$ fraction of entries are observed, for any $\delta > 0$. When applied to the setting of image in-painting (a tensor of order 3), we find that our approach is competitive with respect to state-of-art tensor completion algorithms across benchmark images.

研究の動機と目的

• 観測されたノイズを含む小さなランダムな部分集合しか得られない大規模な行列の欠損値を推定する一貫性があり、非パラメトリックな手法を開発すること。
• 行列の要素を潜在的な行および列の特徴の関数としてモデル化し、滑らかな潜在関数 $f(x_1(u), x_2(i))$ を仮定すること。
• 最近傍による局所的な幾何的構造を組み込むことで、古典的な協調フィルタリングを改善すること。
• フレームワークをテンソル補完へと拡張し、高次元テンソルに対する理論的一貫性を確立すること。

提案手法

• 本手法は、テイラー展開にインspiredされた最近傍に基づく推定器を用い、潜在特徴空間における局所的滑らかさを活用する。
• 行および列の潜在空間において最近傍を特定し、観測済みの値に基づいて未観測の行列要素を推定する。
• 潜在関数 $f$ がリプシッツ連続であり、行および列の特徴の両方の定義域がコンactであると仮定する。
• 最小限のサンプリング条件の下で一貫性を確立する：行列の場合、$\max(m^{-1+\delta}, n^{-1/2+\delta})$ 個の観測要素が必要であり、任意の $\delta > 0$ に対して成り立つ。
• $t$-次元のバランス型テンソルの場合、少なくとも $N^{-\lfloor 2t/3 \rfloor / (2t) + \delta}$ 個の要素が観測されていれば一貫性が達成され、任意の $\delta > 0$ に対して成り立つ。
• 近傍に基づく推定を高次元構造へ一般化することで、テンソル補完へ自然に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 最小限のサンプリング仮定の下で、ブラインド回帰設定において非パラメトリックで最近傍に基づく手法が一貫性のある行列補完を達成できるか？
• RQ2 実際の応用において、提案された最近傍に基づく推定器は古典的な協調フィルタリングよりも優れた性能を示すか？
• RQ3 行列の要素が行および列の特徴の潜在関数に従う場合、一貫性のある推定に必要な理論的サンプリング閾値は何か？
• RQ4 最近傍に基づくフレームワークは、理論的一貫性保証のもとでテンソル補完へ拡張可能か？
• RQ5 MovieLens や Netflix のような実世界のデータセット、および画像補完タスクにおいて、本手法の性能はいかがなものか？

主な発見

• 潜在関数がリプシッツ連続であり、特徴空間がコンパクトである場合、観測される要素の割合が任意の $\delta > 0$ に対して $\max(m^{-1+\delta}, n^{-1/2+\delta})$ 以上であれば、提案された最近傍に基づく推定器は一貫性を示す。
• 本手法は、古典的な協調フィルタリングに対する理論的改善をもたらし、MovieLens や Netflix データセットにおいて行列因子分解と同等の実験的性能を示す。
• $t$-次元のバランス型テンソルの場合、サンプリング閾値が $N^{-\lfloor 2t/3 \rfloor / (2t) + \delta}$ であれば一貫性が達成され、任意の $\delta > 0$ に対して成り立つ。これは高次元データへのスケーラビリティを示している。
• 画像補完に関する実験では、本アルゴリズムはベンチマーク画像において最先端のテンソル補完手法と同等に競争力のある性能を示した。
• 解析により、古典的な協調フィルタリングの性能は、潜在空間における局所的な幾何的構造に根本的に関係しており、本手法はその構造を明示的にモデル化していることが明らかになった。