[论文解读] On Deep Multi-View Representation Learning: Objectives and Optimization

Weiran Wang, Raman Arora+2 more|arXiv (Cornell University)|Feb 2, 2016

Advanced Image and Video Retrieval Techniques参考文献 58被引用 48

一句话总结

该论文提出了一种新型的深度协同相关自编码器（DCCAE）框架，这是一种结合典型相关分析（CCA）与自编码器目标的深度多视图表征学习方法。实验结果表明，DCCAE在图像、语音和文本任务中均优于基于重建的自编码器和标准深度CCA，在测试时仅有一个视图可用的多视图设置下，展现出更优的特征学习能力。

ABSTRACT

We consider learning representations (features) in the setting in which we have access to multiple unlabeled views of the data for learning while only one view is available for downstream tasks. Previous work on this problem has proposed several techniques based on deep neural networks, typically involving either autoencoder-like networks with a reconstruction objective or paired feedforward networks with a batch-style correlation-based objective. We analyze several techniques based on prior work, as well as new variants, and compare them empirically on image, speech, and text tasks. We find an advantage for correlation-based representation learning, while the best results on most tasks are obtained with our new variant, deep canonically correlated autoencoders (DCCAE). We also explore a stochastic optimization procedure for minibatch correlation-based objectives and discuss the time/performance trade-offs for kernel-based and neural network-based implementations.

研究动机与目标

• 比较并分析在测试时仅有一个视图可用的场景下，基于深度神经网络的多视图表征学习方法。
• 探究基于相关性的目标（如CCA）与基于重建的目标（如自编码器）在多视图表征学习中的有效性。
• 开发并评估一种新型深度模型DCCAE，该模型整合CCA与自编码器目标，以提升特征学习能力。
• 研究深度CCA的随机优化方法，并分析其与批量方法在理论和实证上的权衡。
• 发布代码和基于MNIST的新基准数据集，以支持可复现性及未来研究。

提出的方法

• 提出深度协同相关自编码器（DCCAE），一种联合优化基于CCA的相关性目标与自编码器重建目标的模型。
• 为每个视图使用独立的编码器提取共享表征，随后通过解码器从共享特征中重建原始视图。
• 采用随机优化过程处理深度CCA目标，支持小批量训练，并具备理论收敛保证。
• 应用矩阵伯恩斯坦不等式，推导在采样噪声下估计的CCA变换矩阵的一般化界。
• 将DCCAE与基线方法（包括深度CCA、自编码器和核CCA）进行比较，采用批量与随机优化方法。
• 在协方差估计中引入正则化，以确保数值稳定性，并在小批量设置下提升泛化能力。

实验结果

研究问题

• RQ1 基于相关性的深度多视图学习是否在下游任务中优于基于重建的方法？
• RQ2 结合CCA与自编码器目标是否能获得优于单一方法的表征？
• RQ3 与批量优化相比，深度CCA的随机优化在性能和训练时间上的表现如何？
• RQ4 在采样噪声下，随机深度CCA的理论泛化界是什么？
• RQ5 DCCAE及其他方法在图像、语音和文本等多样化数据模态上的表现如何？

主要发现

• DCCAE在所有评估任务中均表现最佳，持续优于基于重建的自编码器和标准深度CCA。
• 基于相关性的方法（包括DCCAE）在图像、语音和文本任务中显著优于无约束的基于重建的方法。
• 深度CCA的随机优化为批量方法提供了可行替代方案，具备竞争力的性能并显著减少训练时间，尤其在大规模数据集上表现更优。
• 理论分析表明，估计CCA变换矩阵的谱范数误差随小批量大小增加和协方差矩阵条件数改善而减小。
• 实证比较证实，DCCAE在高维设置下泛化能力优于低秩近似KCCA方法。
• 发布的基准数据集和代码库支持可复现性，并推动未来在深度多视图表征学习领域的研究。