[论文解读] Learning Sparse Deep Feedforward Networks via Tree Skeleton Expansion

Zhourong Chen, Xiaopeng Li+1 more|arXiv (Cornell University)|Mar 16, 2018

Bayesian Modeling and Causal Inference参考文献 23被引用 3

一句话总结

本文提出树骨架扩展网络（TSE-Nets），一种新颖的无监督方法，通过利用层次化潜在树模型（HLTMs）识别相关特征组，学习稀疏、结构化的深度前馈网络。通过从基于层次化潜在树分析（HLTA）生成的树骨架扩展连接，TSE-Nets 在参数数量显著减少的同时，实现了与人工调优网络相当或更优的分类准确率，并提升了可解释性。

ABSTRACT

Despite the popularity of deep learning, structure learning for deep models remains a relatively under-explored area. In contrast, structure learning has been studied extensively for probabilistic graphical models (PGMs). In particular, an efficient algorithm has been developed for learning a class of tree-structured PGMs called hierarchical latent tree models (HLTMs), where there is a layer of observed variables at the bottom and multiple layers of latent variables on top. In this paper, we propose a simple method for learning the structures of feedforward neural networks (FNNs) based on HLTMs. The idea is to expand the connections in the tree skeletons from HLTMs and to use the resulting structures for FNNs. An important characteristic of FNN structures learned this way is that they are sparse. We present extensive empirical results to show that, compared with standard FNNs tuned-manually, sparse FNNs learned by our method achieve better or comparable classification performance with much fewer parameters. They are also more interpretable.

研究动机与目标

• 为解决深度前馈网络（FNNs）中手动架构设计的挑战，该挑战耗时且往往次优。
• 开发一种无监督方法，用于学习稀疏、结构化的FNNs，使其兼具高效性与可解释性。
• 利用概率图模型（PGMs）和层次化潜在树分析（HLTA）发现潜在的特征相关性，以支持网络结构学习。
• 通过学习与数据中语义或空间结构一致的特征分组，提升模型可解释性。
• 证明通过树骨架扩展进行结构学习所得到的模型，在准确率、稀疏性和可解释性方面均优于标准FNNs和剪枝FNNs。

提出的方法

• 对输入特征应用层次化潜在树分析（HLTA），将其划分为强相关组，每组用潜变量建模，形成树状结构的PGM。
• 从所得层次化潜在树模型（HLTMs）中构建树骨架，表示FNN的核心连接模式。
• 通过添加额外边来扩展树骨架，以捕捉初始骨架中未体现的关键概率依赖关系。
• 将扩展后的PGM核心作为FNN的骨干网络，集成额外的隐藏单元（第h₃层）和输出单元，使所有层能直接贡献特征。
• 设计两类h₃神经元：一类连接至PGM核心顶部（构成骨干），另一类提供从低层到输出的窄跳过路径。
• 端到端训练最终的TSE-Net模型，无需预训练或基于权重的剪枝，完全依赖从数据相关性中学习到的结构。

实验结果

研究问题

• RQ1 基于层次化潜在树模型的无监督结构学习能否生成稀疏FNNs，其性能可与人工设计的FNNs相匹配或超越？
• RQ2 TSE-Nets中隐藏单元的可解释性与标准FNNs及剪枝FNNs相比如何，特别是在学习特征的语义一致性方面？
• RQ3 树骨架扩展方法在不使用空间信息的情况下，能在多大程度上捕捉数据中的空间或结构相关性（如MNIST中的相邻像素）？
• RQ4 在参数数量相近的前提下，TSE-Nets与基于权重剪枝的方法相比，其性能表现如何？
• RQ5 该方法能否在包括表格、文本和图像数据在内的多种数据类型上实现泛化，同时保持高准确率和低参数量？

主要发现

• 在12个Tox21任务中，TSE-Nets在参数数量显著减少的情况下，实现了与人工调优FNNs相当或更优的分类性能。
• 在MNIST数据集上，该方法在未使用空间坐标的情况下，成功将相邻像素聚类为语义一致的簇，反映出手写数字的结构模式。
• TSE-Nets在可解释性方面优于标准FNNs和剪枝FNNs，其隐藏单元在top-10相关词语间的平均余弦相似度更高（如Yelp评论数据集上为0.1632，而标准FNN为0.1117）。
• 与权重剪枝基线（Han et al., 2015）相比，TSE-Nets在相同参数数量下达到相似性能，且无需预训练或迭代权重调整。
• 骨干结构与窄跳过路径的结合，实现了有效特征传播，同时保持了稀疏性和可解释性。
• 该方法在多种数据类型上表现出强泛化能力，包括文本（Yelp、DBPedia）、表格（Tox21）和图像（MNIST）数据集，且在效率和可解释性方面持续提升。