[论文解读] Adaptive Neural Trees

Ryutaro Tanno, Kai Arulkumaran+3 more|arXiv (Cornell University)|Jul 17, 2018

Explainable Artificial Intelligence (XAI)被引用 24

一句话总结

自适应神经树（ANTs）通过神经路由和叶函数学习分层表征，同时基于反向传播训练自适应地扩展架构，将深度神经网络与决策树统一。ANTs在SARCOS（最低MSE）、MNIST（超过99%准确率）和CIFAR-10（超过90%准确率）上达到最先进性能，具备轻量级推理和数据自适应复杂度的特点。

ABSTRACT

Deep neural networks and decision trees operate on largely separate paradigms; typically, the former performs representation learning with pre-specified architectures, while the latter is characterised by learning hierarchies over pre-specified features with data-driven architectures. We unite the two via adaptive neural trees (ANTs) that incorporates representation learning into edges, routing functions and leaf nodes of a decision tree, along with a backpropagation-based training algorithm that adaptively grows the architecture from primitive modules (e.g., convolutional layers). We demonstrate that, whilst achieving competitive performance on classification and regression datasets, ANTs benefit from (i) lightweight inference via conditional computation, (ii) hierarchical separation of features useful to the task e.g. learning meaningful class associations, such as separating natural vs. man-made objects, and (iii) a mechanism to adapt the architecture to the size and complexity of the training dataset.

研究动机与目标

• 将深度神经网络（表征学习）与决策树（结构化、稀疏推理）的优势统一到单一模型中。
• 实现树架构的端到端可微训练，支持可学习的路由函数与分层特征共享。
• 开发一种基于反向传播的训练算法，根据数据集大小与复杂度自适应地扩展网络深度或划分数据。
• 通过条件计算实现轻量级推理，每个输入仅激活一条从根到叶的路径。
• 证明ANTs能够学习语义上合理的分层数据分组，例如自然物体与人造物体的分离。

提出的方法

• 将决策树中的路由决策与叶计算表示为神经网络，从而实现对参数与结构的基于梯度的优化。
• 采用渐进式训练策略，交替进行树的扩展（增加深度）与数据划分（分裂节点），由可微损失函数引导。
• 引入精炼阶段，全局优化所有参数（包括路由概率），以提升泛化能力并剪枝次优分支。
• 通过整个树结构进行反向传播，支持架构与神经组件的端到端训练。
• 使用基础模块（如卷积层）作为构建单元，架构根据数据可用性自适应扩展。
• 在精炼阶段对路由概率进行极化，有效剪除未使用的分支，降低模型复杂度而不损失准确率。

实验结果

研究问题

• RQ1 一个统一模型能否结合深度神经网络的分层表征学习能力与决策树的结构化、稀疏推理能力？
• RQ2 基于数据复杂度引导的自适应架构扩展，是否能带来优于固定架构模型的泛化性能？
• RQ3 ANTs能否学习语义上合理的分层数据分组，例如区分自然物体与人造物体？
• RQ4 对路由概率的全局精炼是否能提升泛化能力并实现对冗余分支的有效剪枝？
• RQ5 ANTs在回归与图像分类任务中的性能，与最先进模型相比如何，尤其是在小数据集上的表现？

主要发现

• ANTs在SARCOS多变量回归数据集上实现了最低的均方误差，优于其他基于树的模型。
• 在MNIST上，ANTs测试准确率超过99%，超越了最先进水平的随机森林与梯度提升树模型。
• 在CIFAR-10上，ANTs准确率超过90%，尽管模型架构轻量，仍展现出强大的图像分类性能。
• 精炼阶段提升了泛化能力：所有模型在全局优化后测试准确率均提升，其中一个模型在剪除仅在0.09%验证样本中被访问的分支后，泛化误差进一步降低。
• ANTs根据数据集大小自适应调整模型复杂度：较小数据集生成更简单、更紧凑的模型，避免了固定尺寸All-CNN模型中常见的过拟合现象。
• MNIST上的最终模型参数量与原始像素上的线性分类器相当，但准确率超过98%，充分体现了其效率与表达能力。