[论文解读] Autoencoder Trees

Ozan İrsoy, Ethem Alpaydın|arXiv (Cornell University)|Sep 26, 2014

Neural Networks and Applications参考文献 5被引用 6

一句话总结

该论文提出了一种新型深度学习模型——自编码器树（autoencoder trees），其中编码和解码过程均使用软决策树实现。该模型通过随机梯度下降训练连续且可微分的树结构，学习具有强重建性能的分层低维表示，适用于手写数字和新闻数据集。

ABSTRACT

We discuss an autoencoder model in which the encoding and decoding functions are implemented by decision trees. We use the soft decision tree where internal nodes realize soft multivariate splits given by a gating function and the overall output is the average of all leaves weighted by the gating values on their path. The encoder tree takes the input and generates a lower dimensional representation in the leaves and the decoder tree takes this and reconstructs the original input. Exploiting the continuity of the trees, autoencoder trees are trained with stochastic gradient descent. On handwritten digit and news data, we see that the autoencoder trees yield good reconstruction error compared to traditional autoencoder perceptrons. We also see that the autoencoder tree captures hierarchical representations at different granularities of the data on its different levels and the leaves capture the localities in the input space.

研究动机与目标

• 开发一种使用决策树而非神经网络的可微分自编码器架构。
• 通过树结构的编码器和解码器实现在多个粒度层次上的分层表征学习。
• 在MNIST和新闻数据等基准数据集上实现具有竞争力的重建误差。
• 证明基于决策树的自编码器能够捕捉输入空间中的局部结构。

提出的方法

• 编码器使用软决策树将输入映射到低维潜在空间，输出为叶节点的加权平均值。
• 解码器采用第二个软决策树，从潜在表示中重建原始输入。
• 软分裂通过门控函数实现，为树中路径分配连续的注意力权重。
• 整个模型通过随机梯度下降进行端到端训练，利用软树结构的连续性。
• 每个树的输出是输入的可微分连续函数，支持反向传播。
• 该模型学习分层表征，不同树层捕捉不同粒度的特征。

实验结果

研究问题

• RQ1 决策树能否在自编码器框架中有效用作编码器和解码器？
• RQ2 与传统的基于感知器的自编码器相比，自编码器树在重建输入数据方面表现如何？
• RQ3 自编码器树是否在树结构的不同层次上学习到分层表征？
• RQ4 软决策树架构能否捕捉输入空间中的局部结构？

主要发现

• 自编码器树在手写数字和新闻数据集上实现了良好的重建误差，与传统的自编码器感知器相当。
• 该模型在树结构的不同层次上捕捉到多粒度的分层表征。
• 编码器树的叶节点对应于输入空间中的局部区域，表明实现了局部特征学习。
• 由于软决策树架构的连续性和可微性，实现了通过随机梯度下降的端到端训练。
• 该模型表明，决策树可作为深度自编码架构中有效且可解释的组件。