[论文解读] Decision Forests, Convolutional Networks and the Models in-Between

Yani Ioannou, Duncan Robertson+5 more|arXiv (Cornell University)|Mar 3, 2016

Adversarial Robustness in Machine Learning被引用 34

一句话总结

本文提出条件网络——一种通过将条件计算与表征学习相结合，融合决策森林与卷积神经网络的混合模型。通过使用可学习的数据路由机制和分块对角稀疏权重矩阵，该模型在保持SOTA精度的同时，相比标准CNN（如NiN），实现高达5倍的计算成本降低和6倍的模型尺寸减小。

ABSTRACT

This paper investigates the connections between two state of the art classifiers: decision forests (DFs, including decision jungles) and convolutional neural networks (CNNs). Decision forests are computationally efficient thanks to their conditional computation property (computation is confined to only a small region of the tree, the nodes along a single branch). CNNs achieve state of the art accuracy, thanks to their representation learning capabilities. We present a systematic analysis of how to fuse conditional computation with representation learning and achieve a continuum of hybrid models with different ratios of accuracy vs. efficiency. We call this new family of hybrid models conditional networks. Conditional networks can be thought of as: i) decision trees augmented with data transformation operators, or ii) CNNs, with block-diagonal sparse weight matrices, and explicit data routing functions. Experimental validation is performed on the common task of image classification on both the CIFAR and Imagenet datasets. Compared to state of the art CNNs, our hybrid models yield the same accuracy with a fraction of the compute cost and much smaller number of parameters.

研究动机与目标

• 探索决策森林与卷积神经网络之间的理论与实践联系。
• 开发一类新型混合模型，结合决策森林的效率与CNN的精度。
• 实现动态、数据相关的计算路由，以在不损失精度的前提下优化推理成本。
• 证明条件网络在图像分类任务中可同时超越标准CNN在精度与效率方面的表现。

提出的方法

• 提出条件网络作为统一框架，可被视作带有可学习特征变换的决策树，或带有分块对角稀疏权重矩阵与显式路由函数的CNN。
• 采用可学习的路由机制，根据输入内容动态将数据路由至网络的特定分支，实现条件计算。
• 使用反向传播联合训练路由模块与CNN组件，尽管存在离散路由决策，仍确保端到端可微性。
• 应用贝叶斯优化在条件网络空间中搜索最优架构，以平衡精度、模型大小与推理成本。
• 通过组合多个CNN（如GoogLeNet）并共享路由组件构建条件集成模型，使每个输入仅激活相关路径。
• 通过重排与剪枝激活相关性，实现结构化稀疏性，揭示分块对角模式，从而支持高效路由与计算。

实验结果

研究问题

• RQ1 如何将决策森林的条件计算特性与CNN的表征学习能力相结合？
• RQ2 能否设计一种统一的深度学习架构，兼具决策树的效率与CNN的精度？
• RQ3 可学习的数据路由在多大程度上可提升CNN集成模型的效率而不降低精度？
• RQ4 在混合架构中，模型精度、推理成本与参数量之间的权衡关系如何？
• RQ5 条件网络是否能在显著降低计算与内存需求的同时，实现与SOTA CNN相当的性能？

主要发现

• 最佳条件网络在ImageNet上的top-5测试误差几乎与原始NiN模型相当，但推理成本降低约5倍，模型尺寸缩小6倍。
• 通过贝叶斯优化训练的条件网络在精度-计算-尺寸权衡空间中始终优于无路由的基线模型，更接近最优解。
• GoogLeNet模型的条件集成版本在精度上与10倍过采样的GoogLeNet相当，但计算成本不足其一半，展现出卓越效率。
• 学习到的路由机制实现了动态、输入相关的路由，使系统在测试时可选择最准确且高效的路径，而无需重新训练。
• 训练后网络中激活相关性的分块对角结构证实了结构化稀疏性的存在，验证了条件网络设计原理的有效性。
• 尽管存在显式路由函数，条件网络仍保持完全可微性，支持通过反向传播进行端到端训练。