[论文解读] Label Distribution Learning Forests

Wei Shen, Kai Zhao+2 more|arXiv (Cornell University)|Feb 20, 2017

Text and Document Classification Technologies被引用 52

一句话总结

该论文提出了一种新型可微决策树框架——标签分布学习随机森林（LDLFs），能够建模任意形式的标签分布，并支持端到端表征学习。通过引入基于分布的损失函数和基于变分上界更新规则，LDLFs在多个标签分布学习任务及计算机视觉应用中均取得了最先进性能。

ABSTRACT

Label distribution learning (LDL) is a general learning framework, which assigns to an instance a distribution over a set of labels rather than a single label or multiple labels. Current LDL methods have either restricted assumptions on the expression form of the label distribution or limitations in representation learning, e.g., to learn deep features in an end-to-end manner. This paper presents label distribution learning forests (LDLFs) - a novel label distribution learning algorithm based on differentiable decision trees, which have several advantages: 1) Decision trees have the potential to model any general form of label distributions by a mixture of leaf node predictions. 2) The learning of differentiable decision trees can be combined with representation learning. We define a distribution-based loss function for a forest, enabling all the trees to be learned jointly, and show that an update function for leaf node predictions, which guarantees a strict decrease of the loss function, can be derived by variational bounding. The effectiveness of the proposed LDLFs is verified on several LDL tasks and a computer vision application, showing significant improvements to the state-of-the-art LDL methods.

研究动机与目标

• 解决现有标签分布学习（LDL）方法在假设标签分布形式受限或缺乏有效表征学习方面的局限性。
• 开发一种与深度学习兼容的LDL框架，能够建模任意形式的标签分布。
• 通过基于分布的损失函数，实现对可微决策树森林的联合训练。
• 推导出一种理论基础坚实的叶节点预测更新机制，确保损失函数单调减少。

提出的方法

• 利用可微决策树通过叶节点预测的混合形式，建模复杂且任意的标签分布。
• 设计基于分布的损失函数，用于整个森林，以实现所有树的联合优化。
• 采用变分上界推导叶节点预测的闭式更新函数，确保损失函数严格下降。
• 通过允许模型通过反向传播端到端学习深层特征，实现表征学习的集成。
• 在树中使用软决策规则，确保对梯度优化的可微性。
• 在训练过程中迭代应用更新规则，以优化标签分布预测。

实验结果

研究问题

• RQ1 可微决策树森林是否能有效建模标签分布学习中任意形式的标签分布？
• RQ2 通过基于分布的损失函数对森林进行联合优化，是否能提升学习性能，优于现有LDL方法？
• RQ3 所提出的框架是否能在保持高预测精度的同时，支持端到端表征学习？
• RQ4 为叶节点预测推导出的更新函数是否能有效确保训练过程中损失函数的单调减少？

主要发现

• LDLFs在多个基准LDL任务上显著优于当前最先进方法。
• 该框架成功建模了复杂且非参数化的标签分布，且无需对分布形式施加限制性假设。
• 表征学习的集成使模型能够端到端学习深层特征，增强特征表达能力。
• 基于变分上界的更新规则确保损失函数严格下降，保障了收敛稳定性。
• 在计算机视觉应用中的实证结果表明，LDLFs在真实场景中具有实际有效性。
• 所提方法在预测精度和分布建模保真度方面均优于现有LDL基线方法。