[论文解读] Active Regression with Adaptive Huber Loss

Jacopo Cavazza, Vittorio Murino|arXiv (Cornell University)|Jun 5, 2016

Sparse and Compressive Sensing Techniques参考文献 9被引用 3

一句话总结

该论文提出了一种精确的、非迭代的Huber损失回归算法，可在半监督多视角和流形正则化设置下自适应学习损失阈值，并主动过滤噪声标签。该方法在计算成本低、超参数调优极少的情况下，实现了鲁棒回归的最先进性能。

ABSTRACT

This paper addresses the scalar regression problem through a novel solution to exactly optimize the Huber loss in a general semi-supervised setting, which combines multi-view learning and manifold regularization. We propose a principled algorithm to 1) avoid computationally expensive iterative schemes while 2) adapting the Huber loss threshold in a data-driven fashion and 3) actively balancing the use of labelled data to remove noisy or inconsistent annotations at the training stage. In a wide experimental evaluation, dealing with diverse applications, we assess the superiority of our paradigm which is able to combine robustness towards noise with both strong performance and low computational cost.

研究动机与目标

• 通过结合半监督学习与鲁棒优化，解决标量回归中标签噪声多且稀缺的挑战。
• 克服现有方法中迭代式Huber损失优化带来的计算低效问题。
• 通过数据驱动的自适应方式学习Huber损失参数ξ，消除手动选择阈值的需求。
• 通过在训练过程中主动识别并剔除不一致或噪声标注，提升模型泛化能力。
• 构建统一框架，整合多视角学习与流形正则化，以增强鲁棒性与性能。

提出的方法

• 提出一种闭式解，可在包含多视角和流形正则化的通用半监督设置下精确优化Huber损失。
• 提出Huber损失回归（HLR）算法，避免使用二次规划或自对偶最小化等迭代求解器。
• 采用主动学习机制，基于数值一致性检验检测并排除噪声或不一致的标注样本。
• 在训练过程中通过数据驱动策略自动调整Huber损失阈值ξ，且不增加计算复杂度。
• 利用基于图拉普拉斯的流形正则化和多视角学习，挖掘未标注数据，提升泛化能力。
• 采用凸优化确保在存在异常值时的全局收敛性与稳定性。

实验结果

研究问题

• RQ1 在半监督、多视角和流形正则化的回归框架中，能否在不使用迭代求解器的情况下实现Huber损失的精确优化？
• RQ2 所提出的Huber损失自适应阈值学习在提升对噪声标签的鲁棒性方面效果如何？
• RQ3 当标注不可靠时，主动标签过滤在多大程度上能提升回归性能？
• RQ4 在不同回归任务中，HLR算法在准确率、速度和鲁棒性方面与最先进方法相比表现如何？
• RQ5 该方法是否能在无需大量超参数调优的情况下，泛化到不同类型的数据和应用场景？

主要发现

• 在人群计数数据集UCSD、MALL和PETS 2009上，HLR分别取得1.99、3.36和0.819的MAE，优于GPR、RFR和MORR等方法。
• 在PETS 2009数据集上，HLR在8个序列中的7个序列取得最低MAE，部分情况下MAE为0.000，因某些方向无人存在。
• HLR在UCSD上的训练时间仅5.6秒，在MALL上为6.5秒，推理时间分别为0.4秒和0.5秒，表现出极高效率。
• 在MALL数据集上，HLR相比次优方法（MORR）实现10%的MAE降低，UCSD上MRE提升1.3%。
• 该方法仅需极少超参数调优，经验规则设置（T=3, λ=10⁻⁴, γ=10⁻⁵, Δξ=0.01）即可在所有基准测试中取得优异性能。
• HLR在所有指标（MAE、MSE、MRE）上均持续优于LSSVR、KRR、RR、CA-RR和MLR，最佳结果以粗体标出，见表X。