[论文解读] Learning Ordered Representations with Nested Dropout

Oren Rippel, Michael A. Gelbart+1 more|arXiv (Cornell University)|Feb 5, 2014

Advanced Image and Video Retrieval Techniques参考文献 18被引用 44

一句话总结

本文提出嵌套dropout（nested dropout），一种通过掩码嵌套隐藏单元子集来强制神经网络表征中层次化排序的随机正则化方法。证明在半线性自编码器中，嵌套dropout可实现可识别性，并与主成分分析（PCA）实现精确等价，从而获得唯一且有序的表征，支持快速对数时间检索与自适应压缩，且不损失代码质量。

ABSTRACT

In this paper, we study ordered representations of data in which different dimensions have different degrees of importance. To learn these representations we introduce nested dropout, a procedure for stochastically removing coherent nested sets of hidden units in a neural network. We first present a sequence of theoretical results in the simple case of a semi-linear autoencoder. We rigorously show that the application of nested dropout enforces identifiability of the units, which leads to an exact equivalence with PCA. We then extend the algorithm to deep models and demonstrate the relevance of ordered representations to a number of applications. Specifically, we use the ordered property of the learned codes to construct hash-based data structures that permit very fast retrieval, achieving retrieval in time logarithmic in the database size and independent of the dimensionality of the representation. This allows codes that are hundreds of times longer than currently feasible for retrieval. We therefore avoid the diminished quality associated with short codes, while still performing retrieval that is competitive in speed with existing methods. We also show that ordered representations are a promising way to learn adaptive compression for efficient online data reconstruction.

研究动机与目标

• 解决表示学习中的非可识别性问题，即由于排列不变性与线性变换等对称性导致存在多个等价解。
• 通过信息含量对表征维度进行先验排序，确保每一维后续维度所捕获的信息均少于前一维。
• 通过利用有序结构构建基于哈希的数据结构，实现高维表征的高效可扩展检索。
• 通过学习表征中每一维对重构的贡献逐步减少的特性，支持自适应压缩，实现动态截断。

提出的方法

• 嵌套dropout在嵌套隐藏单元子集上应用随机掩码，其中单元j的存在意味着所有前序单元1至j−1均存在。
• 该方法定义了截断级别b ∈ {1, ..., K}的分布，掩码为S_b = {1, ..., b}，以诱导层次依赖关系并强制排序。
• 在半线性自编码器中，嵌套dropout下的优化目标在施加正交性约束时，会收敛至唯一全局最优解，等价于通过特征值分解实现的PCA。
• 通过分块矩阵求逆及截断可交换矩阵的性质推导出解结构，确保最优编码器与解码器矩阵被唯一确定。
• 所得表征顺序在所有截断中保持不变，从而可构建分层哈希表，实现与代码维度无关的O(log N)时间复杂度检索。
• 该方法支持自适应压缩，可通过仅使用前k维在线重构，且因维度间信息单调衰减，损失极小。

实验结果

研究问题

• RQ1 嵌套dropout能否通过消除排列与线性不变性，实现表示学习中的可识别性？
• RQ2 在半线性自编码器中，嵌套dropout是否能导致唯一全局最优解，且与PCA解完全一致？
• RQ3 通过嵌套dropout学习到的有序表征能否实现与代码维度无关、复杂度为对数时间的检索？
• RQ4 嵌套dropout表征中，信息内容如何随维度衰减？该衰减特性是否支持自适应压缩？
• RQ5 嵌套dropout目标下，权重矩阵的结构约束为何？这些约束如何确保可识别性？

主要发现

• 在半线性自编码器中，嵌套dropout在施加正交性约束下可实现可识别性，并将解空间缩减为唯一全局最优解。
• 该唯一最优解恰好为数据协方差矩阵的前K个最大特征值对应的特征向量，证明与PCA存在精确等价。
• 最优编码器与解码器矩阵由一个在截断与求逆下保持可交换性的矩阵T唯一确定，且在正交性下T = I_K。
• 有序表征支持基于哈希的数据结构，实现与代码维度K无关的O(log N)时间复杂度检索，使代码长度可达以往方法的数百倍。
• 该方法支持自适应压缩，仅使用前k维即可实现高质量重构，且因每维信息单调衰减，性能下降极小。
• 理论分析表明，解对初始化选择具有不变性，且避免了标准自编码器与RBM中常见的非可识别性问题。