[论文解读] Greedy metrics in orthogonal greedy learning

Lin Xu, Shao-Bo Lin+2 more|arXiv (Cornell University)|Nov 13, 2014

Sparse and Compressive Sensing Techniques参考文献 41被引用 3

一句话总结

本文提出一种新颖的贪心度量方法——δ-贪心阈值，用于正交匹配追踪学习（OGL），取代传统的最速梯度下降（SGD）方法。理论证明，δ-TOGL（δ-阈值正交匹配追踪学习）的收敛速率为 $ m^{-1/2}(\text{log}\,m)^2 $，与基于SGD的OGL相当，同时支持自适应终止规则并降低对超参数选择的敏感性，从而为经典OGL及岭回归、Lasso等正则化方法提供更稳健、更易用的替代方案。

ABSTRACT

Orthogonal greedy learning (OGL) is a stepwise learning scheme that adds a new atom from a dictionary via the steepest gradient descent and build the estimator via orthogonal projecting the target function to the space spanned by the selected atoms in each greedy step. Here, "greed" means choosing a new atom according to the steepest gradient descent principle. OGL then avoids the overfitting/underfitting by selecting an appropriate iteration number. In this paper, we point out that the overfitting/underfitting can also be avoided via redefining "greed" in OGL. To this end, we introduce a new greedy metric, called $δ$-greedy thresholds, to refine "greed" and theoretically verifies its feasibility. Furthermore, we reveals that such a greedy metric can bring an adaptive termination rule on the premise of maintaining the prominent learning performance of OGL. Our results show that the steepest gradient descent is not the unique greedy metric of OGL and some other more suitable metric may lessen the hassle of model-selection of OGL.

研究动机与目标

• 挑战在正交匹配追踪学习（OGL）中仅依赖最速梯度下降作为贪心度量的既有范式。
• 提出并理论验证一种新的贪心度量——δ-贪心阈值，以优化每一步贪心选择中的原子选取。
• 基于新度量开发OGL的自适应终止规则，降低对人工模型选择的依赖。
• 证明δ-TOGL在学习性能上可与经典OGL相媲美，同时在稀疏性和参数调优鲁棒性方面表现更优。
• 通过正式引入“贪心度量”作为学习系统中可设计的关键组件，建立贪心学习的新框架。

提出的方法

• 提出δ-贪心阈值作为OGL中选择原子的新准则，取代最速梯度下降。
• 定义基于相关性阈值化处理残差与字典原子之间关系的δ-TOGL算法，采用改进的贪心选择规则。
• 推导理论泛化界，表明δ-TOGL可实现 $ m^{-1/2}(\text{log}\,m)^2 $ 的学习速率，与经典OGL一致。
• 基于δ-贪心度量建立自适应终止准则，消除对手动迭代次数选择的需求。
• 利用经验风险最小化与正则化技术，以样本数量 $ m $、字典复杂度及逼近误差为变量，界定向 excess risk。
• 借助集中不等式与覆盖数，推导出泛化误差的高概率界。

实验结果

研究问题

• RQ1 在OGL中，是否可将最速梯度下降度量替换为其他贪心度量而不损失学习性能？
• RQ2 所提出的δ-贪心阈值度量是否能支持自适应终止规则，同时保持或提升泛化能力？
• RQ3 与经典OGL、岭回归和Lasso相比，δ-TOGL在学习速率与稀疏性方面表现如何？
• RQ4 δ-TOGL的泛化性能是否对超参数调优的敏感性低于经典OGL？
• RQ5 贪心度量能否被正式视为贪心学习系统中可设计的关键组件？

主要发现

• δ-贪心阈值度量实现了 $ m^{-1/2}(\text{log}\,m)^2 $ 的学习速率，与基于经典SGD的OGL几乎完全一致。
• 所提出的δ-TOGL框架支持自适应终止规则，无需手动选择迭代次数。
• 数值实验表明，δ-TOGL生成的估计器显著比岭回归和Lasso更稀疏，同时保持了具有竞争力的泛化性能。
• 与经典OGL相比，δ-TOGL对参数调优的敏感性更低，提升了用户友好性。
• 理论分析证实，δ-TOGL的收敛阶与经典OGL相同，验证了其可行性与鲁棒性。
• 本研究确立了贪心度量作为OGL中关键且可调的组件，为贪心学习的算法设计开辟了新路径。