[论文解读] Discriminative Recurrent Sparse Auto-Encoders

Jason Tyler Rolfe, Yann LeCun|arXiv (Cornell University)|Jan 16, 2013

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 31

一句话总结

本文提出判别式循环稀疏自编码器（DrSAE），一种具有共享权重和修正线性单元的循环神经网络，通过时间展开学习分层表征。它联合优化稀疏重建与分类任务，发现不同的类别单元（原型）和部件单元（形变），在参数极少且显式建模数据流形的情况下，实现了强大的MNIST性能。

ABSTRACT

We present the discriminative recurrent sparse auto-encoder model, comprising a recurrent encoder of rectified linear units, unrolled for a fixed number of iterations, and connected to two linear decoders that reconstruct the input and predict its supervised classification. Training via backpropagation-through-time initially minimizes an unsupervised sparse reconstruction error; the loss function is then augmented with a discriminative term on the supervised classification. The depth implicit in the temporally-unrolled form allows the system to exhibit all the power of deep networks, while substantially reducing the number of trainable parameters. From an initially unstructured network the hidden units differentiate into categorical-units, each of which represents an input prototype with a well-defined class; and part-units representing deformations of these prototypes. The learned organization of the recurrent encoder is hierarchical: part-units are driven directly by the input, whereas the activity of categorical-units builds up over time through interactions with the part-units. Even using a small number of hidden units per layer, discriminative recurrent sparse auto-encoders achieve excellent performance on MNIST.

研究动机与目标

• 开发一种深层、参数高效的神经网络架构，结合无监督稀疏编码与判别性分类。
• 通过分层表征建模数据流形，其中类别单元代表类别原型，部件单元编码形变。
• 通过时间反向传播的端到端训练，先学习重建，再添加分类损失。
• 通过无监督预训练后判别性微调，发现隐藏单元的结构化组织——类别单元与部件单元。
• 证明模型学习到解耦的、类特定的表征，能在视觉识别任务（如MNIST）中实现良好泛化。

提出的方法

• 模型使用由修正线性单元（ReLUs）构成的循环编码器，在T个时间步上展开，各层间共享权重矩阵。
• 编码器从零隐藏状态初始化，通过受ISTA启发的近似算法进行迭代更新处理输入。
• 附加两个解码器：一个使用最终隐藏状态重建输入，另一个预测监督类别标签。
• 训练分两个阶段进行：首先通过时间反向传播最小化稀疏重建损失，然后在损失中增加判别性交叉熵项。
• 对解码器权重施加非负性约束，将收缩操作转化为类似ReLU的非线性。
• 隐藏单元自发分化为两类：类别单元（尖锐、类特定的原型）和部件单元（局部、对形变敏感的单元）。

实验结果

研究问题

• RQ1 具有共享权重和稀疏正则化的循环自编码器能否在无显式监督下学习到解耦的、类特定的表征？
• RQ2 无监督重建与判别性微调的结合如何影响隐藏单元中分层结构的出现？
• RQ3 模型能否通过原型（类别单元）和切空间形变（部件单元）有效表示数据流形？
• RQ4 部件单元与类别单元在保持稀疏可解释表征的同时，多大程度上协同提升分类准确率？
• RQ5 与参数数量相当的标准深层网络相比，循环网络的时间展开是否提供更强的表征能力？

主要发现

• DrSAE模型仅使用每层少量隐藏单元，即在MNIST分类任务中取得高性能，展现出极强的泛化能力且参数极少。
• 训练后，隐藏单元分化为两类：类别单元呈现尖锐、类特定的原型，部件单元编码局部形变。
• 类别单元在动力学后期激活，通过与部件单元的交互逐步累积，且相互抑制，实现类间竞争。
• 部件单元受输入强烈影响，作为输入与原型之间残差的稀疏编码器，实现形变建模。
• 重建过程沿数据流形追踪路径：即使输入远离原型，中间步骤仍能保持正确类别的可识别性。
• 模型学习到的类别原型表征比类别平均更清晰，并能通过原型与形变部件的组合，在多样化变换下实现泛化。