[论文解读] Deep Multi-View Learning with Stochastic Decorrelation Loss.

Xiaobin Chang, Tao Xiang+1 more|arXiv (Cornell University)|Jul 30, 2017

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出了一种可扩展的、基于小批量的随机去相关损失（Stochastic Decorrelation Loss, SDL），用于深度多视图表示学习，可在无需奇异值分解（SVD）计算的情况下，高效实现跨视图激活的去相关。SDL统一了DCCA与FAE框架，在可扩展性和性能上优于现有去相关方法。

ABSTRACT

Multi-view learning aims to learn an embedding space where multiple views are either maximally correlated for cross-view recognition, or decorrelated for latent factor disentanglement. A key challenge for deep multi-view representation learning is scalability. To correlate or decorrelate multi-view signals, the covariance of the whole training set should be computed which does not fit well with the mini-batch based training strategy, and moreover (de)correlation should be done in a way that is free of SVD-based computation in order to scale to contemporary layer sizes. In this work, a unified approach is proposed for efficient and scalable deep multi-view learning. Specifically, a mini-batch based Stochastic Decorrelation Loss (SDL) is proposed which can be applied to any network layer to provide soft decorrelation of the layer's activations. This reveals the connection between deep multi-view learning models such as Deep Canonical Correlation Analysis (DCCA) and Factorisation Autoencoder (FAE), and allows them to be easily implemented. We further show that SDL is superior to other decorrelation losses in terms of efficacy and scalability.

研究动机与目标

• 解决由于（去）相关所需全批量协方差计算而导致的深度多视图学习可扩展性挑战。
• 在不依赖计算量大的SVD操作的前提下，实现深度神经网络中激活的高效去相关。
• 通过可微且与层无关的损失，将现有模型如DCCA与FAE统一于同一框架下。
• 开发一种适用于标准小批量优化方案的训练兼容损失，实现有效训练。

提出的方法

• 提出一种基于小批量的随机去相关损失（SDL），在小批量而非全量数据上计算去相关。
• 将SDL作为可微正则化损失应用于任意网络层，以促进激活特征的软去相关。
• 将SDL表述为协方差矩阵的迹近似，避免显式SVD分解。
• 将SDL集成到深度架构中，实现使用标准反向传播的端到端训练。
• 证明SDL可统一应用于各层，实现跨视图相关性降低与潜在因子解耦。
• 展示SDL可泛化至现有模型如DCCA与FAE，实现其高效实现。

实验结果

研究问题

• RQ1 能否设计一种去相关损失，使其在无需全批量协方差计算的情况下，高效扩展至大规模深度网络？
• RQ2 与现有去相关损失相比，所提出的SDL在训练效率和表示质量方面表现如何？
• RQ3 SDL在多大程度上能统一并改进如DCCA与FAE等现有多视图学习模型？
• RQ4 SDL是否在消除每步训练中SVD需求的同时保持性能？

主要发现

• SDL在无需SVD的情况下实现了深度网络中激活的有效去相关，显著提升了训练可扩展性。
• 与其它去相关损失相比，该方法在跨视图识别与解耦任务中均表现出更优性能。
• SDL可无缝集成至DCCA与FAE等现有模型中，显著提升其实用性与训练效率。
• 该损失兼容标准小批量训练，适用于现代深度学习框架与大规模数据集。