[论文解读] Correlational Neural Networks

Sarath Chandar, Mitesh M. Khapra+2 more|arXiv (Cornell University)|Apr 27, 2015

Natural Language Processing Techniques参考文献 35被引用 4

一句话总结

该论文提出相关神经网络（Correlational Neural Networks, CorrNet），一种深度学习框架，通过在共享潜在空间中联合优化重建与视图间的相关性，实现端到端训练。通过在训练过程中显式最大化相关性，同时支持可扩展的自编码器式重建，CorrNet在迁移学习、缺失视图重建以及多语言表征学习任务中，尤其在跨语言任务上，优于当前最先进方法。

ABSTRACT

Common Representation Learning (CRL), wherein different descriptions (or views) of the data are embedded in a common subspace, is receiving a lot of attention recently. Two popular paradigms here are Canonical Correlation Analysis (CCA) based approaches and Autoencoder (AE) based approaches. CCA based approaches learn a joint representation by maximizing correlation of the views when projected to the common subspace. AE based methods learn a common representation by minimizing the error of reconstructing the two views. Each of these approaches has its own advantages and disadvantages. For example, while CCA based approaches outperform AE based approaches for the task of transfer learning, they are not as scalable as the latter. In this work we propose an AE based approach called Correlational Neural Network (CorrNet), that explicitly maximizes correlation among the views when projected to the common subspace. Through a series of experiments, we demonstrate that the proposed CorrNet is better than the above mentioned approaches with respect to its ability to learn correlated common representations. Further, we employ CorrNet for several cross language tasks and show that the representations learned using CorrNet perform better than the ones learned using other state of the art approaches.

研究动机与目标

• 为解决现有共现表征学习方法的局限性，如CCA的可扩展性差以及自编码器缺乏显式相关性学习能力。
• 开发一种可扩展的基于深度学习的方法，同时实现视图的重建与在共享子空间中其投影的相关性最大化。
• 利用现实应用中常见的平行与非平行单视图数据，而这些数据在以往方法中常被忽视。
• 通过学习到的表征，提升下游任务（如跨语言文档分类与音译等价性检测）的性能。

提出的方法

• CorrNet采用深度自编码器架构，通过共享潜在层对两个视图X和Y进行建模，以学习k维的共同表征。
• 模型使用组合损失函数进行训练，包含视图的自重建与交叉重建损失。
• 引入一种新颖的相关性正则化项，显式最大化共享空间中X与Y投影表征之间的相关性。
• 训练过程具备可扩展性，可整合额外的单视图数据，从而在无需成对样本的情况下提升表征质量。
• 采用双流编码器与解码器结构，瓶颈层共享权重以强制实现共同表征。
• 通过验证数据对潜在维度与学习率等超参数进行调优，评估中采用固定维度（如L=384）。

实验结果

研究问题

• RQ1 能否设计一种基于深度自编码器的方法，在保持重建能力的同时，显式最大化共享表征空间中视图之间的相关性？
• RQ2 CorrNet在可扩展性与迁移学习、重建任务性能方面，相较于CCA及其他自编码器方法表现如何？
• RQ3 CorrNet能否有效利用非平行单视图数据，在低资源场景下提升表征质量？
• RQ4 使用相关性共现表征是否能提升跨语言任务（如文档分类与音译检测）的性能？
• RQ5 CorrNet能否在单语任务（如二元组相似性预测）中超越当前最先进方法DCCAE？

主要发现

• 在二元组相似性数据集上，CorrNet的斯皮尔曼等级相关系数达到46.8，平均优于此前SOTA方法DCCAE（46.2）。
• 在跨语言文档分类任务中，CorrNet的准确率高于CCA、DCCA与DCCAE，展现出更优的迁移学习性能。
• 在音译等价性检测任务中，CorrNet优于所有基线方法，表明其在对齐跨语言词形方面具有更强能力。
• 采用500个神经元与384维潜在空间的模型（CorrNet-500-384）在所有评估任务中表现最佳。
• CorrNet成功以高保真度重建缺失视图，验证了其在多视图数据补全方面的有效性。
• 该方法展现出良好的可扩展性，并能从单视图数据中获得泛化优势，而CCA等方法难以有效利用此类数据。