[论文解读] Reverse iterative volume sampling for linear regression

Michał Dereziński, Manfred K. Warmuth|arXiv (Cornell University)|Jun 6, 2018

Face and Expression Recognition被引用 5

一句话总结

该论文提出了一种新型的反向迭代体积采样方法，用于在线性回归中从n×d设计矩阵X中选择d行，以最小化总平方损失。通过以所选行张成的平行多面体的体积平方为概率采样大小为d的子集，该方法确保最小二乘解是全数据最优解的无偏估计器，且期望损失恰好为最优损失的(d+1)倍——提供了强有力的理论保证，并为主动学习和实验设计提供了高效算法。

ABSTRACT

We study the following basic machine learning task: Given a fixed set of $d$-dimensional input points for a linear regression problem, we wish to predict a hidden response value for each of the points. We can only afford to attain the responses for a small subset of the points that are then used to construct linear predictions for all points in the dataset. The performance of the predictions is evaluated by the total square loss on all responses (the attained as well as the hidden ones). We show that a good approximate solution to this least squares problem can be obtained from just dimension $d$ many responses by using a joint sampling technique called volume sampling. Moreover, the least squares solution obtained for the volume sampled subproblem is an unbiased estimator of optimal solution based on all n responses. This unbiasedness is a desirable property that is not shared by other common subset selection techniques. Motivated by these basic properties, we develop a theoretical framework for studying volume sampling, resulting in a number of new matrix expectation equalities and statistical guarantees which are of importance not only to least squares regression but also to numerical linear algebra in general. Our methods also lead to a regularized variant of volume sampling, and we propose the first efficient algorithms for volume sampling which make this technique a practical tool in the machine learning toolbox. Finally, we provide experimental evidence which confirms our theoretical findings.

研究动机与目标

• 开发一种理论基础扎实、高效的子集选择方法，用于线性回归，以最小化数据量下的总平方损失。
• 证明体积采样——即按所选行张成的体积平方比例选择d行——可产生全数据最小二乘解的无偏估计器。
• 推导在体积采样下对伪逆估计器的期望的新型矩阵恒等式，超越标准子集选择技术。
• 提供体积采样的首个高效算法，使其在机器学习应用中具有实际可行性。
• 通过实证实验验证理论结果，确认期望损失和无偏性特性。

提出的方法

• 提出反向迭代体积采样，一种新颖的算法框架，可高效地从n×d矩阵X中以概率正比于det(X⊤SXS)（即行张成的体积平方）采样d行。
• 引入一种基于矩阵体积变换和初等列变换的新证明技术，推导伪逆估计器的精确期望公式。
• 推导关键恒等式：E[(ISX)+] = X+ 和 E[(X⊤SXS)−1] = (n−d+1)/(s−d+1) ⋅ (X⊤X)−1（s≥d），其中IS为选择矩阵。
• 提出体积采样的正则化变体，以提高数值稳定性和泛化能力。
• 利用反向迭代过程，通过反向移除行来迭代构建体积样本，实现高效计算。
• 运用矩阵行列式恒等式与投影几何，将预测损失与体积变化关联，证明核心理论结果。

实验结果

研究问题

• RQ1 能否选择d行的子集，使得由此得到的最小二乘解是全数据最优解的无偏估计器？
• RQ2 与最优解相比，体积采样解的期望总平方损失是多少？
• RQ3 能否设计出高效的体积采样算法，以克服其原本计算昂贵的问题？
• RQ4 在体积采样下，伪逆估计器期望的矩阵恒等式是什么？
• RQ5 与其它行采样方法相比，体积采样在偏差和损失保证方面表现如何？

主要发现

• 从体积采样d行得到的最小二乘解w∗(S)是全数据最优解w∗的无偏估计器，即E[w∗(S)] = w∗。
• 体积采样解的期望总平方损失恰好为最优损失的(d+1)倍：E[L(w∗(S))] = (d+1)L(w∗)。
• 对于任何响应数少于d的采样过程，期望损失与最优损失的比值无法被常数所界定。
• 矩阵期望E[(ISX)+]等于全伪逆X+，即使(XS)+并非X+的子矩阵。
• 二阶矩恒等式E[(X⊤SXS)−1] = (n−d+1)/(s−d+1) ⋅ (X⊤X)−1对任意s≥d成立，提供了关键的统计保证。
• 所提出的反向迭代采样算法可高效计算体积样本，使该方法在大规模机器学习中具有实际可行性。