[论文解读] Learning Sparse Feature Representations using Probabilistic Quadtrees and Deep Belief Nets

Saikat Basu, Manohar Karki+4 more|arXiv (Cornell University)|Sep 11, 2015

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出了一种新颖的框架，结合概率四叉树与深度置信网络（DBNs），以学习手写数字分类的稀疏特征表示。通过构建概率四叉树，利用深度优先搜索生成稀疏的分层特征，并将其输入DBN，该方法在MNIST数据集上实现了显著的性能提升——相较于传统DBN，相对提升最高达25%；在噪声变体（n-MNIST）上，相对提升最高达36%，表明其对噪声具有更强的鲁棒性并具备更优的判别能力。

ABSTRACT

Learning sparse feature representations is a useful instrument for solving an unsupervised learning problem. In this paper, we present three labeled handwritten digit datasets, collectively called n-MNIST. Then, we propose a novel framework for the classification of handwritten digits that learns sparse representations using probabilistic quadtrees and Deep Belief Nets. On the MNIST and n-MNIST datasets, our framework shows promising results and significantly outperforms traditional Deep Belief Networks.

研究动机与目标

• 开发一种在噪声条件下具有鲁棒性的无监督特征学习框架，用于手写数字识别。
• 引入三个新的含噪声手写数字数据集（n-MNIST），分别添加了加性白高斯噪声、运动模糊和对比度降低，用于基准测试。
• 通过概率四叉树学习稀疏的分层表示，以提升深度置信网络的判别能力。
• 以统计上合理的方式降低图像数据的维度，同时保留结构和纹理信息。

提出的方法

• 通过递归地根据同质性准则（由阈值τ定义，设为0.27）对图像块进行细分，构建概率四叉树，其中最大-最小灰度差值大于τ的块被划分为四个子块。
• 四叉树中的每个节点被建模为一个伯努利随机变量，表示是否被分割（1）或未被分割（0），依据数据集中是否有任何样本不满足同质性检验。
• 对学习到的四叉树结构进行深度优先搜索遍历，生成每个图像的线性稀疏向量表示，编码分层的空间与灰度统计信息。
• 将这些稀疏向量输入深度置信网络（DBN）进行分类，DBN通过受限玻尔兹曼机（RBMs）逐层预训练，并通过反向传播进行微调。
• RBMs的训练使用对比发散算法，以最大化可见单元的对数似然，条件概率通过S形函数计算。
• 该框架在MNIST和三个n-MNIST变体上进行评估，性能与标准DBN架构在多种网络深度和宽度下进行对比。

实验结果

研究问题

• RQ1 概率四叉树能否有效学习稀疏的分层表示，从而提升手写数字数据集的分类准确率？
• RQ2 与标准DBN相比，该框架在n-MNIST噪声变体上的表现如何？
• RQ3 由四叉树导出的稀疏表示在多大程度上增强了深度置信网络的判别能力？
• RQ4 将基于四叉树的特征提取与DBNs结合，是否能实现更快的收敛速度或在未见数据上获得更好的泛化性能？

主要发现

• 在450-450架构下，该框架在MNIST数据集上达到1.38%的测试误差，相较于最佳传统DBN，相对提升约25%。
• 在添加了加性白高斯噪声的n-MNIST数据集上，该框架将测试误差降低至9.93%（500-500架构），相较于标准DBN相对提升约36%。
• 在运动模糊干扰下，该框架在500-500架构上实现7.84%的测试误差，相较于基线DBN相对提升约26%。
• 在同时包含AWGN和对比度降低的组合变体上，该框架在450-450架构下实现8.36%的测试误差，相较于标准DBN相对提升约12%。
• 该框架在所有网络架构和所有n-MNIST变体中均持续优于标准DBN，表现出对多种图像退化的强鲁棒性。
• 使用概率四叉树实现了有效的降维，同时保留了关键的纹理和结构特征，从而生成更具判别力的表示。