[论文解读] Auto-Encoder based Co-Training Multi-View Representation Learning

Run‐kun Lu, Jian–wei Liu+3 more|arXiv (Cornell University)|Jan 9, 2022

Domain Adaptation and Few-Shot Learning参考文献 17被引用 4

一句话总结

该论文提出了一种基于自编码器的协同训练多视图学习方法（ACMVL），这是一种基于神经网络的方法，通过协同训练共享监督网络的视图特定自编码器，联合学习跨多个视图的一致性和互补性表征。该方法通过参数共享和交替协同训练提升表征学习性能，在基准数据集的分类和聚类任务中达到最先进水平。

ABSTRACT

Multi-view learning is a learning problem that utilizes the various representations of an object to mine valuable knowledge and improve the performance of learning algorithm, and one of the significant directions of multi-view learning is sub-space learning. As we known, auto-encoder is a method of deep learning, which can learn the latent feature of raw data by reconstructing the input, and based on this, we propose a novel algorithm called Auto-encoder based Co-training Multi-View Learning (ACMVL), which utilizes both complementarity and consistency and finds a joint latent feature representation of multiple views. The algorithm has two stages, the first is to train auto-encoder of each view, and the second stage is to train a supervised network. Interestingly, the two stages share the weights partly and assist each other by co-training process. According to the experimental result, we can learn a well performed latent feature representation, and auto-encoder of each view has more powerful reconstruction ability than traditional auto-encoder.

研究动机与目标

• 解决现有基于矩阵分解的多视图子空间学习方法在大规模数据上表现不佳的问题。
• 利用深度神经网络联合建模多视图数据中的一致性（共享特征）和互补性（视图特定特征）。
• 开发一种可扩展的、支持小批量训练的策略，通过与监督网络协同训练提升自编码器性能。
• 通过在自编码器与监督网络之间实现部分参数共享，加速收敛并提升表征质量。

提出的方法

• 该框架包含视图特定的自编码器和一个共享的监督网络，联合潜在表征从监督网络的第一个隐藏层提取。
• 每个视图的自编码器学习视图特定的潜在表征，通过参数共享将其映射到共享空间，以强制实现一致性。
• 采用交替协同训练策略，其中监督网络向自编码器的编码器提供梯度信号以改进其性能，同时自编码器的特征也增强监督网络的训练。
• 该方法使用小批量随机梯度下降，使其能够扩展到大规模数据集，与以往基于矩阵分解的方法不同。
• 联合表征通过加权求和各视图特定特征在共享空间中的投影，再经过非线性激活函数生成。
• 模型通过端到端训练，自编码器使用重构损失，监督网络使用交叉熵损失。

实验结果

研究问题

• RQ1 基于深度学习的协同训练框架能否有效学习捕捉多视图数据中一致性和互补性的联合潜在表征？
• RQ2 通过共享参数实现的交替协同训练在多大程度上提升了单个视图自编码器及整体联合表征的性能？
• RQ3 与以往基于矩阵分解的方法相比，该方法能否通过小批量训练高效扩展到大规模数据集？
• RQ4 联合潜在表征在下游分类和聚类任务中相较于单个视图表征的性能优势有多大？

主要发现

• 消融实验表明，ACMVL框架显著提升了单个视图自编码器的重构能力，优于标准自编码器。
• 在分类任务中，联合潜在表征（LR-ACMVL）的准确率和F1分数均高于单个视图表征（LR-AE）以及协同训练自编码器特征（LR-AE-ACMVL）。
• 在聚类任务中，联合潜在表征（GMM-ACMVL）的NMI显著更高，JC分数更低，优于单个视图表征和仅使用自编码器的基线方法。
• 在WebKB数据集上，联合表征的NMI为0.5809，JC为0.0310，优于最佳单个视图（NMI: 0.4739，JC: 0.1593）。
• 在20NG数据集上，联合表征的NMI为0.3171，JC为0.5100，显著优于最佳单个视图（NMI: 0.1968，JC: 0.4533）。
• 协同训练策略加速了收敛，并提升了每个自编码器的学习性能，证明了参数共享与相互监督的有效性。