[论文解读] Learning Sparse Additive Models with Interactions in High Dimensions

Hemant Tyagi, Anastasios Kyrillidis+2 more|arXiv (Cornell University)|Apr 18, 2016

Machine Learning and Algorithms参考文献 29被引用 5

一句话总结

本文提出一种基于随机查询的算法，通过压缩感知技术识别活跃变量和交互对，实现高维空间中具有二阶交互项的稀疏加法模型的精确恢复。在无噪声条件下，该算法以 O(kρₘ(log d)³) 次查询实现精确恢复；在高斯噪声条件下，以 O(ρₘ⁵k²(log d)⁴) 次查询实现精确恢复，同时为分量估计提供了非渐近误差界。

ABSTRACT

A function $f: \mathbb{R}^d ightarrow \mathbb{R}$ is referred to as a Sparse Additive Model (SPAM), if it is of the form $f(\mathbf{x}) = \sum_{l \in \mathcal{S}}ϕ_{l}(x_l)$, where $\mathcal{S} \subset [d]$, $|\mathcal{S}| \ll d$. Assuming $ϕ_l$'s and $\mathcal{S}$ to be unknown, the problem of estimating $f$ from its samples has been studied extensively. In this work, we consider a generalized SPAM, allowing for second order interaction terms. For some $\mathcal{S}_1 \subset [d], \mathcal{S}_2 \subset {[d] \choose 2}$, the function $f$ is assumed to be of the form: $$f(\mathbf{x}) = \sum_{p \in \mathcal{S}_1}ϕ_{p} (x_p) + \sum_{(l,l^{\prime}) \in \mathcal{S}_2}ϕ_{(l,l^{\prime})} (x_{l},x_{l^{\prime}}).$$ Assuming $ϕ_{p},ϕ_{(l,l^{\prime})}$, $\mathcal{S}_1$ and, $\mathcal{S}_2$ to be unknown, we provide a randomized algorithm that queries $f$ and exactly recovers $\mathcal{S}_1,\mathcal{S}_2$. Consequently, this also enables us to estimate the underlying $ϕ_p, ϕ_{(l,l^{\prime})}$. We derive sample complexity bounds for our scheme and also extend our analysis to include the situation where the queries are corrupted with noise -- either stochastic, or arbitrary but bounded. Lastly, we provide simulation results on synthetic data, that validate our theoretical findings.

研究动机与目标

• 为解决高维函数中稀疏加法与交互分量的学习挑战，克服维度灾难问题。
• 开发一种基于查询的学习框架，实现主效应与二阶交互项的精确恢复。
• 在无噪声与有噪声查询设置下，为精确恢复与分量估计提供有限样本保证。
• 将压缩感知技术扩展至稀疏海森矩阵与梯度恢复，适用于非线性高维函数。
• 通过在具有受控噪声与交互结构的合成数据上进行模拟，验证理论发现。

提出的方法

• 采用随机采样策略，在精心选择的点上查询函数 f，以探测梯度与海森信息。
• 应用压缩感知技术恢复稀疏海森矩阵，通过结构化采样实现交互项的识别。
• 采用两阶段恢复过程：首先识别活跃变量与交互对，然后估计各个分量函数。
• 利用基于期望的估计器对随机投影进行平均，降低噪声并提高分量估计的准确性。
• 引入归一化与校正步骤，以处理因多变量项重叠贡献导致的分量估计偏差。
• 基于最大交互度 ρₘ 与稀疏度 k 推导样本复杂度边界，确保在有界噪声与随机噪声下的鲁棒性。

实验结果

研究问题

• RQ1 我们能否使用有限次函数查询，在高维稀疏加法模型中精确恢复主效应集合 𝒮₁ 与交互对集合 𝒮₂（含二阶交互项）？
• RQ2 在无噪声与有噪声查询条件下，实现模型结构精确恢复所需的最少查询次数是多少？
• RQ3 最大交互度 ρₘ 如何影响恢复算法的样本复杂度？
• RQ4 在有噪声查询条件下，能否为估计单个分量函数 ϕₚ 与 ϕ₍ₗ,ₗ′₎ 获得非渐近误差界？
• RQ5 不同噪声模型（有界噪声或 i.i.d. 高斯噪声）对恢复过程的准确性与样本复杂度有何影响？

主要发现

• 该算法在无噪声条件下，以 O(kρₘ(log d)³) 次查询实现 𝒮₁ 与 𝒮₂ 的精确恢复，其中 ρₘ 为每变量的最大交互数。
• 在 i.i.d. 高斯噪声下，以 O(ρₘ⁵k²(log d)⁴) 次查询可保证精确恢复，这是此类模型的首个有限样本边界。
• 在 n 次有噪声查询后，主效应函数 ϕₚ 的期望 L∞-误差为 O((n⁻¹ log n)^{3/7})。
• 在 n 次有噪声查询后，双变量交互函数 ϕ₍ₗ,ₗ′₎ 的期望 L∞-误差为 O((n⁻¹ log n)^{3/8})。
• 对于参与多个交互的变量（ρ(l) > 1），ϕₗ 的估计误差同样有界于 O((n⁻¹ log n)^{3/8})。
• 在合成数据上的模拟结果验证了理论样本复杂度与误差边界，证实了该算法的鲁棒性与准确性。