[论文解读] Learning Transformations for Classification Forests

Qiang Qiu, Guillermo Sapiro|arXiv (Cornell University)|Dec 19, 2013

Face and Expression Recognition参考文献 17被引用 9

一句话总结

本文提出了一种名为Transformation Forests的新框架，通过在每个分裂节点学习线性变换来增强分类森林，以改善类别分离。通过使用核范数优化以恢复每个类内的低秩结构并最大化类间子空间夹角，该方法在理论和实验上均显著优于标准弱学习器和基于LDA的方法。

ABSTRACT

This work introduces a transformation-based learner model for classification forests. The weak learner at each split node plays a crucial role in a classification tree. We propose to optimize the splitting objective by learning a linear transformation on subspaces using nuclear norm as the optimization criteria. The learned linear transformation restores a low-rank structure for data from the same class, and, at the same time, maximizes the separation between different classes, thereby improving the performance of the split function. Theoretical and experimental results support the proposed framework.

研究动机与目标

• 为解决真实世界高维数据中低维内在结构的退化问题，例如具有姿态变化和光照影响的人脸图像。
• 通过在每个分裂节点学习具有判别性的变换来提升分类森林中弱学习器的性能，以增强类别分离能力。
• 开发一种计算高效的算法，以恢复类内数据的低秩结构，同时最大化类间子空间夹角。
• 提供一种优于传统弱学习器和LDA的框架，尤其在噪声或受损数据条件下表现更优。

提出的方法

• 在每个分裂节点学习一个d×d的线性变换T，将数据映射到一个类内数据呈现低秩结构的空间。
• 使用核范数作为秩最小化的凸近似，将优化问题公式化，以促进变换后类内数据的低秩结构。
• 目标函数最小化变换后正类数据的核范数，同时最大化变换后负类数据的核范数，以增强类间分离。
• 通过奇异值阈值法求解优化问题，实现在训练过程中的高效计算。
• 在测试阶段，所学习的变换可无额外计算成本应用，因其已预先计算并固定。
• 该框架被集成到随机森林中，其中每棵树的分裂节点在应用弱学习器前先应用所学习的变换。

实验结果

研究问题

• RQ1 在每个分裂节点学习线性变换是否能提升分类森林中弱学习器的判别能力？
• RQ2 基于核范数的变换优化如何增强类内数据的低秩结构恢复？
• RQ3 在真实世界数据损坏条件下，该方法是否在分类准确率上优于标准弱学习器和LDA？
• RQ4 通过最大化不同类别间子空间夹角，该变换在多大程度上提升了类间分离？
• RQ5 该变换学习框架能否在不增加推理成本的前提下高效集成到现有随机森林架构中？

主要发现

• 所提出的方法在分类任务中显著优于标准弱学习器和LDA，尤其在具有受损低维结构的数据上表现更优。
• 所学习的变换能有效恢复同一类数据的低秩结构，即使在真实世界失真（如姿态变化和光照变化）下也表现良好。
• 核范数优化成功促进了类内紧凑性和类间分离，从而提升了分裂函数的性能。
• 理论分析证明，当列空间正交时，连接矩阵的核范数具有次可加性，支持该方法的设计。
• 实证结果表明，该方法在多个数据集上均表现出一致的性能提升，分类准确率明显优于基线方法。
• 在测试阶段，该变换计算效率高，因其仅需学习一次，且推理时无需额外开销。