[论文解读] Blind Regression via Nearest Neighbors under Latent Variable Models

Christina Lee, Yihua Li+2 more|arXiv (Cornell University)|May 13, 2017

Sparse and Compressive Sensing Techniques参考文献 20被引用 4

一句话总结

本文提出了一种基于邻居的盲回归算法，用于在潜在变量模型下进行矩阵和张量补全，通过利用最近邻的局部平滑性来估计未观测到的条目。当至少观测到 $\max(m^{-1+\delta}, n^{-1/2+\delta})$ 个条目时，该方法具有相合性，相较于协同过滤提供了理论支持的改进，并在真实世界数据集上表现出具有竞争力的性能。

ABSTRACT

We consider the setup of nonparametric 'blind regression' for estimating the entries of a large $m imes n$ matrix, when provided with a small, random fraction of noisy measurements. We assume that all rows $u \in [m]$ and columns $i \in [n]$ of the matrix are associated to latent features $x_1(u)$ and $x_2(i)$ respectively, and the $(u,i)$-th entry of the matrix, $A(u, i)$ is equal to $f(x_1(u), x_2(i))$ for a latent function $f$. Given noisy observations of a small, random subset of the matrix entries, our goal is to estimate the unobserved entries of the matrix as well as to de-noise the observed entries. As the main result of this work, we introduce a neighbor-based estimation algorithm inspired by the classical Taylor's series expansion. We establish its consistency when the underlying latent function $f$ is Lipschitz, the latent features belong to a compact domain, and the fraction of observed entries in the matrix is at least $\max \left(m^{-1 + \delta}, n^{-1/2 + \delta} ight)$, for any $\delta > 0$. As an important byproduct, our analysis sheds light into the performance of the classical collaborative filtering (CF) algorithm for matrix completion, which has been widely utilized in practice. Experiments with the MovieLens and Netflix datasets suggest that our algorithm provides a principled improvement over basic CF and is competitive with matrix factorization methods. Our algorithm has a natural extension to tensor completion. For a $t$-order balanced tensor with total of $N$ entries, we prove that our approach provides a consistent estimator when at least $N^{-\frac{\lfloor 2t/3 floor}{2t}+ \delta}$ fraction of entries are observed, for any $\delta > 0$. When applied to the setting of image in-painting (a tensor of order 3), we find that our approach is competitive with respect to state-of-art tensor completion algorithms across benchmark images.

研究动机与目标

• 开发一种一致的、非参数化的方法，用于在仅观测到一小部分随机噪声条目时估计大型矩阵中的缺失条目。
• 将矩阵条目标记为行和列特征的函数，假设存在一个平滑的潜在函数 $f(x_1(u), x_2(i))$。
• 通过引入最近邻的局部几何结构，改进经典协同过滤方法。
• 将该框架扩展至张量补全，并为高阶张量建立理论相合性。

提出的方法

• 该方法采用受泰勒级数展开启发的基于邻居的估计器，利用潜在特征空间中的局部平滑性。
• 通过在行和列的潜在空间中识别最近邻，基于已观测值来估计未观测到的矩阵条目。
• 该算法假设潜在函数 $f$ 是利普希茨连续的，并且行和列特征均定义在紧致域上。
• 在最小采样条件下实现相合性：对于矩阵，要求至少观测到 $\max(m^{-1+\delta}, n^{-1/2+\delta})$ 个条目，其中 $\delta > 0$。
• 对于 $t$-阶平衡张量，当至少观测到 $N^{-\lfloor 2t/3 \rfloor / (2t) + \delta}$ 个条目时，该方法可实现相合性，其中 $\delta > 0$。
• 通过将基于邻域的估计推广至更高阶结构，该方法自然地扩展至张量补全。

实验结果

研究问题

• RQ1 在盲回归设置下，非参数化、基于邻居的方法是否能在最小采样假设下实现一致的矩阵补全？
• RQ2 在实际应用中，所提出的基于邻居的估计器相较于经典协同过滤方法表现如何？
• RQ3 当矩阵条目由行和列特征的潜在函数控制时，实现一致估计所需的理论采样阈值是多少？
• RQ4 基于邻居的框架能否扩展至张量补全并具备理论相合性保证？
• RQ5 该方法在 MovieLens 和 Netflix 等真实世界数据集以及图像修复任务中的表现如何？

主要发现

• 当潜在函数满足利普希茨连续性且特征域为紧致时，所提出的基于邻居的估计器在观测条目比例至少为 $\max(m^{-1+\delta}, n^{-1/2+\delta})$（$\delta > 0$）时具有相合性。
• 该方法在理论上优于经典协同过滤，且在 MovieLens 和 Netflix 数据集上的实验性能与矩阵分解方法相当。
• 对于 $t$-阶平衡张量，该方法在采样阈值为 $N^{-\lfloor 2t/3 \rfloor / (2t) + \delta}$（$\delta > 0$）时实现相合性，表明其可扩展至高阶数据。
• 在图像修复任务的实验中，该算法在基准图像上与当前最先进的张量补全方法相比表现具有竞争力。
• 分析表明，经典协同过滤的性能本质上与潜在空间中的局部几何结构密切相关，而该方法明确地对这种结构进行了建模。