[论文解读] Learning Single Index Models in High Dimensions

Ravi Ganti, Nikhil Rao+2 more|arXiv (Cornell University)|Jun 30, 2015

Machine Learning and Algorithms参考文献 17被引用 27

一句话总结

本文提出 SILO、iSILO 和 ciSILO——在 n ≪ d 的高维设置下学习单 index 模型（SIMs）的计算与统计效率高的算法。这些方法通过 Lasso 类优化和校准损失函数，联合估计稀疏权重向量与单调、Lipschitz 连续的链接函数，实现与维度呈多对数依赖关系的过失风险界，相较于广义线性模型（GLMs）和低维 SIM 方法，在真实高维数据集上表现更优。

ABSTRACT

Single Index Models (SIMs) are simple yet flexible semi-parametric models for classification and regression. Response variables are modeled as a nonlinear, monotonic function of a linear combination of features. Estimation in this context requires learning both the feature weights, and the nonlinear function. While methods have been described to learn SIMs in the low dimensional regime, a method that can efficiently learn SIMs in high dimensions has not been forthcoming. We propose three variants of a computationally and statistically efficient algorithm for SIM inference in high dimensions. We establish excess risk bounds for the proposed algorithms and experimentally validate the advantages that our SIM learning methods provide relative to Generalized Linear Model (GLM) and low dimensional SIM based learning methods.

研究动机与目标

• 为解决在 n ≪ d 的高维情形下，缺乏实用且理论基础坚实的单 index 模型（SIMs）学习算法的问题。
• 开发计算高效的联合估计方法，用于在 SIMs 中同时估计稀疏特征权重与单调、Lipschitz 连续的链接函数。
• 为所提算法建立过失风险界，其随维度的扩展具有良好可伸缩性，避免了先前低维方法中常见的维度依赖性退化。
• 通过实证验证，迭代变体（iSILO、ciSILO）相较于标准高维方法（如稀疏逻辑回归和 Slisotron）的优越性。

提出的方法

• SILO 使用非迭代的 Lasso 类优化方法，通过二次规划形式估计稀疏权重向量 w⋆ 和单调、1-Lipschitz 函数 g⋆。
• iSILO 通过感知机风格的更新方式迭代优化 w⋆ 的估计，同时使用 LPAV 算法学习 g⋆。
• ciSILO 在 iSILO 的基础上改进，采用能自适应于底层 SIM 结构的校准损失函数，提升鲁棒性与准确性。
• LPAV 算法被用于计算对数据的最佳单调、1-Lipschitz 拟合，确保估计的链接函数既单调又满足 Lipschitz 连续性。
• 算法通过 SILO 的输出进行初始化，从而为迭代变体提供强理论保证。
• 理论分析依赖于集中不等式，并假设设计为次高斯分布，且满足 ‖x‖₂ ≤ √d 几乎必然成立，从而获得与 log(d) 而非 d 成比例的界。

实验结果

研究问题

• RQ1 像 SILO 这样简单且非迭代的方法是否能在高维 SIM 学习中取得良好性能，并提供理论保证？
• RQ2 使用平方损失或校准损失函数进行迭代优化，是否能显著提升高维 SIM 中的预测精度，相比非迭代方法？
• RQ3 所提算法能否实现与维度 d 呈多对数依赖关系的过失风险界，使其在 n ≪ d 的高维情形下依然有效？
• RQ4 在真实世界数据集中，所提方法与标准高维分类方法（如稀疏逻辑回归和 Slisotron 算法）相比，表现如何？

主要发现

• SILO 的过失风险界呈 Õ((s + k)log(2d)/θ · √(s/n)) 的形式，与维度 d 呈多对数依赖，使其在高维设置下表现有效。
• iSILO 和 ciSILO 均优于 SILO，其中 ciSILO 在所有 8 个真实世界数据集上均实现最低的测试误差。
• ciSILO 通过使用能自适应于底层 SIM 结构的校准损失函数，实现更优性能，甚至在大多数情况下优于稀疏逻辑回归和 Slisotron。
• 所提方法的理论界避免了先前低维 SIM 方法（如 Slisotron）中常见的维度依赖性退化，后者在 d ≫ n 时性能显著下降。
• 迭代方法（iSILO、ciSILO）显著优于非迭代的 SILO，表明在高维 SIM 学习中，优化步骤具有关键作用。
• 结果表明，即使未进行最优步长调优，iSILO 和 ciSILO 仍表现具有竞争力，凸显了所提框架的鲁棒性。