[论文解读] Deeply Coupled Auto-encoder Networks for Cross-view Classification

Wen Wang, Zhen Cui+3 more|arXiv (Cornell University)|Feb 10, 2014

Image Processing Techniques and Applications参考文献 27被引用 27

一句话总结

本文提出深度耦合自编码器网络（DCAN），一种深度神经网络框架，通过堆叠具有最大间隔准则的判别性耦合自编码器，联合学习异质图像视图（如照片与素描）之间的非线性、判别性和共享表征。DCAN在性能上达到当前最先进水平，在照片-素描数据集上的跨视图识别准确率相比先前方法提升超过6%。

ABSTRACT

The comparison of heterogeneous samples extensively exists in many applications, especially in the task of image classification. In this paper, we propose a simple but effective coupled neural network, called Deeply Coupled Autoencoder Networks (DCAN), which seeks to build two deep neural networks, coupled with each other in every corresponding layers. In DCAN, each deep structure is developed via stacking multiple discriminative coupled auto-encoders, a denoising auto-encoder trained with maximum margin criterion consisting of intra-class compactness and inter-class penalty. This single layer component makes our model simultaneously preserve the local consistency and enhance its discriminative capability. With increasing number of layers, the coupled networks can gradually narrow the gap between the two views. Extensive experiments on cross-view image classification tasks demonstrate the superiority of our method over state-of-the-art methods.

研究动机与目标

• 解决来自同一语义类别但位于截然不同特征空间中的异质图像样本（如不同姿态、光照条件或模态，如照片与素描）的分类挑战。
• 克服线性方法（如CCA和PLS）的局限性，后者假设数据服从高斯分布，难以捕捉真实视觉任务中复杂的非线性数据结构。
• 开发一种深度学习框架，通过端到端训练，同时保持局部数据结构并增强跨视图的判别能力。
• 通过两个视图专用网络的深度分层耦合，学习共享的、低维的、判别性的表征，从而实现有效的跨视图分类。

提出的方法

• DCAN为每个视图构建一个深度神经网络，通过共享权重约束和联合优化实现对应层的耦合。
• 每一层采用判别性耦合自编码器——一种使用最大间隔准则训练的去噪自编码器，以强制实现类内紧凑性和类间分离性。
• 最大间隔准则被联合应用于两个视图对应的隐藏表征，确保同一类别的样本在共享空间中被拉近。
• 通过堆叠多个此类层，实现分层的非线性特征学习，逐步减小视图之间的域差距。
• 使用反向传播进行端到端训练，同时最小化重构误差和间隔损失。
• 通过自编码器学习保持局部邻域结构，其理论依据来自流形恢复特性。

实验结果

研究问题

• RQ1 深度耦合自编码器架构是否能在跨视图图像分类中超越传统线性方法？
• RQ2 在每个自编码器层中引入最大间隔准则是否能提升共享表征学习中的判别能力？
• RQ3 堆叠多个耦合层如何影响跨视图特征对齐的性能与鲁棒性？
• RQ4 所提出方法在学习非线性、判别性表征的同时，能在多大程度上保持局部数据结构？

主要发现

• 在CMU-PIE数据集上，DCAN采用三层堆叠结构，实现了88.4%的rank-1识别率，显著优于当前最先进方法（如MvDA的86.7%和CSR的81.4%）。
• 在CUFSF照片-素描数据集上，DCAN-3在素描到照片识别任务中实现了65.2%的平均准确率，较次佳方法（CSR的59.0%）提升6.2个百分点。
• 使用最大间隔准则使准确率相比FDA提升1.6%（即使在单层网络中），证明其在增强判别能力方面的有效性。
• DCAN-2在素描到照片识别任务中达到60.3%的准确率，表明更深的架构显著优于浅层结构。
• 该模型保持了强大的局部邻域保持能力：99.43%的第一近邻在学习表征中得以保留，表明其具有稳健的局部结构恢复能力。
• 当使用四层时性能下降，原因在于输出维度过度降低（10D），表明该架构存在最优深度。