Skip to main content
QUICK REVIEW

[论文解读] Improving Deep Regression with Ordinal Entropy

Shihao Zhang, Linlin Yang|arXiv (Cornell University)|Jan 21, 2023
Neural Networks and ApplicationsComputer Science被引用 9
一句话总结

本工作分析为什么使用交叉熵进行分类通常在连续目标的回归(MSE)中表现更好,并引入一个序数熵正则化项以在合成和实际任务中提升回归性能。

ABSTRACT

In computer vision, it is often observed that formulating regression problems as a classification task often yields better performance. We investigate this curious phenomenon and provide a derivation to show that classification, with the cross-entropy loss, outperforms regression with a mean squared error loss in its ability to learn high-entropy feature representations. Based on the analysis, we propose an ordinal entropy loss to encourage higher-entropy feature spaces while maintaining ordinal relationships to improve the performance of regression tasks. Experiments on synthetic and real-world regression tasks demonstrate the importance and benefits of increasing entropy for regression.

研究动机与目标

  • 研究在深度学习中,为什么对连续目标进行分类常常优于回归(MSE)。
  • 解释特征空间熵如何影响回归学习。
  • 提出一种基于熵的正则化项,在增加特征熵的同时保持序数关系。
  • 在合成算子学习任务和实际回归任务(深度、人群计数、年龄估计)上,证明该正则化项的有效性。

提出的方法

  • 推导基于互信息的比较,显示回归最小化 H(Z|Y) 而不是 H(Z)。
  • 使用最近邻熵估计量对特征熵进行量化。
  • 引入带有多样性项 L_d 与紧致性项 L_t 的序数熵正则化项,以在保持序数性的同时增加 H(Z)。
  • 通过 w_{ij}=||y_i - y_j|| 对特征中心的距离进行加权,以维持序数结构。
  • 定义最终损失 L_total = L_m + lambda_d L_d + lambda_t L_t,并整合到回归训练中。

实验结果

研究问题

  • RQ1为什么使用带有交叉熵的分类在高熵的特征表示上比使用均方误差的回归更有效?
  • RQ2在不破坏序数关系的前提下,增加特征熵对回归性能有何影响?
  • RQ3序数熵正则化项是否能在合成与实际任务上提升回归?
  • RQ4影响序数熵正则化有效性的关键因素有哪些(归一化、加权、样本量)?

主要发现

  • 使用均方误差的回归倾向于学习较低熵的特征空间(Z 的多样性较低)。
  • 序数熵正则化项在保持序数关系的同时能够扩展特征中心,从而提升回归性能。
  • 所提出的方法在深度估计、人群计数和年龄估计上均有显著改进,在合成的算子学习任务中也表现出强劲提升。
  • 消融研究表明,加入序数距离、归一化和加权平衡对效果的重要性。
  • 熵分析表明分类保持比回归更高的 H(Z),而正则化项在训练中可以提升 H(Z)。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。