[论文解读] Tightening the Sample Complexity of Empirical Risk Minimization via Preconditioned Stability.

Alon Gonen, Shai Shalev‐Shwartz|arXiv (Cornell University)|Jan 15, 2016

Advanced Bandit Algorithms Research参考文献 22被引用 4

一句话总结

本文引入了预条件稳定性（preconditioned stability）这一新型稳定性概念，收紧了广义线性模型（包括线性回归和逻辑回归）中经验风险最小化（ERM）的样本复杂度边界。论文证明了在线性回归中，ERM实现了最优样本复杂度，为这些设定下的泛化性提供了更紧密的理论基础。

ABSTRACT

We tighten the sample complexity of empirical risk minimization (ERM) associated with a class of generalized linear models that include linear and logistic regression. In particular, we conclude that ERM attains the optimal sample complexity for linear regression. Our analysis relies on a new notion of stability, called preconditioned stability, which may be of independent interest.

研究动机与目标

• 改进对广义线性模型中经验风险最小化（ERM）样本复杂度的理论理解。
• 弥合线性回归和逻辑回归中ERM的紧致样本复杂度边界的空白。
• 在新稳定性框架下，确立ERM在对线性回归中实现最优样本复杂度。
• 引入并分析一种新稳定性概念——预条件稳定性，其可能具有更广泛的理论影响。

提出的方法

• 提出一种名为预条件稳定的新型稳定性概念，通过融入与问题相关的预条件，更好地捕捉优化景观的几何结构。
• 将预条件稳定性应用于分析广义线性模型中ERM的泛化误差。
• 通过预条件稳定性和损失函数曲率之间的相互作用，推导出样本复杂度边界。
• 证明在线性回归中，所推导的边界与信息论下界一致，表明其最优性。
• 利用统计学习理论和矩阵分析的工具，形式化稳定性与样本复杂度之间的联系。
• 证明预条件稳定性在ERM背景下提供了比标准一致稳定性更紧致的分析。

实验结果

研究问题

• RQ1 广义线性模型中ERM的样本复杂度能否在现有基于一致稳定性的边界之外进一步收紧？
• RQ2 与经典稳定性概念相比，预条件稳定性是否能对泛化误差提供更精细的分析？
• RQ3 在所提出的框架下，线性回归中ERM的样本复杂度是否最优？
• RQ4 该新稳定性概念能否超越线性模型，应用于其他类别的广义线性模型？

主要发现

• 本文确立了在所提出的预条件稳定性框架下，ERM在对线性回归中实现了最优样本复杂度。
• 与标准一致稳定性相比，预条件稳定性为广义线性模型中的ERM提供了更紧致的泛化边界。
• 该分析确认了线性回归中ERM的样本复杂度与信息论下界一致。
• 所提出的稳定性概念被证明具有独立的理论兴趣，其意义不仅限于样本复杂度的应用。