[论文解读] Forward-Backward Greedy Algorithms for General Convex Smooth Functions over A Cardinality Constraint

Ji Liu, Ryohei Fujimaki+1 more|arXiv (Cornell University)|Dec 31, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用 39

一句话总结

本文提出并分析了在基数约束下针对一般凸光滑函数的前向-后向贪婪算法。引入了FoBa-gdt，该算法利用梯度信息提升了FoBa-obj的可扩展性，并在受限强凸性条件下证明了FoBa-gdt与FoBa-obj具有相同的理论性能，其收敛界依赖于样本量相对于稀疏性和维度的关系。

ABSTRACT

We consider forward-backward greedy algorithms for solving sparse feature selection problems with general convex smooth functions. A state-of-the-art greedy method, the Forward-Backward greedy algorithm (FoBa-obj) requires to solve a large number of optimization problems, thus it is not scalable for large-size problems. The FoBa-gdt algorithm, which uses the gradient information for feature selection at each forward iteration, significantly improves the efficiency of FoBa-obj. In this paper, we systematically analyze the theoretical properties of both forward-backward greedy algorithms. Our main contributions are: 1) We derive better theoretical bounds than existing analyses regarding FoBa-obj for general smooth convex functions; 2) We show that FoBa-gdt achieves the same theoretical performance as FoBa-obj under the same condition: restricted strong convexity condition. Our new bounds are consistent with the bounds of a special case (least squares) and fills a previously existing theoretical gap for general convex smooth functions; 3) We show that the restricted strong convexity condition is satisfied if the number of independent samples is more than $\bar{k}\log d$ where $\bar{k}$ is the sparsity number and $d$ is the dimension of the variable; 4) We apply FoBa-gdt (with the conditional random field objective) to the sensor selection problem for human indoor activity recognition and our results show that FoBa-gdt outperforms other methods (including the ones based on forward greedy selection and L1-regularization).

研究动机与目标

• 解决FoBa-obj算法的可扩展性局限，该算法需要求解大量优化问题。
• 开发一种更高效的贪婪算法FoBa-gdt，利用基于梯度的特征选择以降低计算成本。
• 为FoBa-obj和FoBa-gdt在一般光滑凸函数上提供更紧致的理论界。
• 建立受限强凸性条件成立的条件，将样本量与稀疏性和维度联系起来。
• 在真实世界应用中（如人体活动识别中的传感器选择）展示FoBa-gdt的实证优越性。

提出的方法

• 提出FoBa-gdt，一种前向-后向贪婪算法，通过在前向步骤中使用梯度信息进行特征选择，从而在效率上优于FoBa-obj。
• 引入基于引理3和引理7的新型后向步骤分析，以限制特征池中错误特征的数量。
• 利用梯度和曲率（ρ−(1)，ρ+(1)）的性质，推导出目标函数下降的理论界。
• 证明当样本数超过$\bar{k}\log d$时，受限强凸性条件以高概率成立，其中$\bar{k}$为稀疏性，$d$为维度。
• 将在条件随机场目标上应用FoBa-gdt算法，用于室内活动识别中的传感器选择任务。
• 在实际应用中，基于稀疏性水平或预设的δ和ε阈值设定停止准则，尤其在真实世界环境中。

实验结果

研究问题

• RQ1 FoBa-gdt是否能在显著提升可扩展性的同时，实现与FoBa-obj相同的理论性能？
• RQ2 在一般光滑凸函数下，FoBa-obj和FoBa-gdt的目标函数下降可推导出哪些理论界？
• RQ3 受限强凸性条件在何种条件下对一般凸光滑函数成立？
• RQ4 样本量如何与稀疏性和维度关联，以确保受限强凸性条件成立？
• RQ5 FoBa-gdt是否在真实世界的稀疏学习任务中优于其他方法（如前向贪婪选择和L1-正则化）？

主要发现

• 在受限强凸性条件下，FoBa-gdt实现了与FoBa-obj相同的理论性能，且计算效率显著提升。
• 与先前分析相比，FoBa-obj的理论界得到改进，尤其针对一般光滑凸函数。
• 当样本数超过$\bar{k}\log d$时，受限强凸性条件以高概率成立，其中$\bar{k}$为稀疏性，$d$为维度。
• 该算法以高概率在$O(\kappa^2(\sqrt{\kappa}+1)^2(\bar{k}+1))$轮迭代内终止，其中$\kappa$为与海森矩阵相关的条件数。
• 在人体室内活动识别的传感器选择任务中，实证结果表明FoBa-gdt优于前向贪婪选择和L1-正则化方法。
• FoBa-gdt中基于梯度的特征选择避免了每轮迭代求解多个子问题的需要，从而实现了对大规模问题的可扩展性。