[论文解读] Deep Partial Multi-View Learning

Changqing Zhang, Yajie Cui+4 more|arXiv (Cornell University)|Nov 12, 2020

Domain Adaptation and Few-Shot Learning被引用 22

一句话总结

本文提出交叉部分多视图网络（CPM-Nets），一种深度学习框架，通过对抗性训练和非参数分类损失，联合学习完整、多功能的潜在表征并填补多视图数据中的缺失视图。该方法在复杂视图缺失场景下，在分类、表征学习和数据填补任务中均达到最先进性能，相较于基线方法，在50%缺失率下NMI提升最高达5.11%，ACC提升最高达3.36%。

ABSTRACT

Although multi-view learning has made signifificant progress over the past few decades, it is still challenging due to the diffificulty in modeling complex correlations among different views, especially under the context of view missing. To address the challenge, we propose a novel framework termed Cross Partial Multi-View Networks (CPM-Nets), which aims to fully and flflexibly take advantage of multiple partial views. We fifirst provide a formal defifinition of completeness and versatility for multi-view representation and then theoretically prove the versatility of the learned latent representations. For completeness, the task of learning latent multi-view representation is specififically translated to a degradation process by mimicking data transmission, such that the optimal tradeoff between consistency and complementarity across different views can be implicitly achieved. Equipped with adversarial strategy, our model stably imputes missing views, encoding information from all views for each sample to be encoded into latent representation to further enhance the completeness. Furthermore, a nonparametric classifification loss is introduced to produce structured representations and prevent overfifitting, which endows the algorithm with promising generalization under view-missing cases. Extensive experimental results validate the effectiveness of our algorithm over existing state of the arts for classifification, representation learning and data imputation.

研究动机与目标

• 解决从具有任意且复杂视图缺失模式的多视图数据中学习鲁棒、完整且多功能表征的挑战。
• 克服现有方法假设视图完整或依赖固定分组策略的局限性，这些方法在高维或不完整视图配置下缺乏灵活性。
• 通过将视图填补建模为退化过程并利用对抗性训练稳定化，提升表征的完整性。
• 通过类聚类的非参数分类损失，提升学习表征的泛化能力与可分性。
• 实现对所有样本和视图的联合利用，无论其缺失模式如何，确保对具有不完整模态的真实世界数据具有适应性。

提出的方法

• 通过基于数据传输类比的理论框架，形式化多视图表征的完整性和多功能性，将表征学习建模为退化过程，以平衡一致性与互补性。
• 引入对抗性策略：生成器网络学习从观测视图中重建缺失视图，判别器则强制实现逼真的填补，从而稳定并提升表征质量。
• 采用非参数分类损失，鼓励学习到具有聚类结构的表征，提升可分性与泛化能力，尤其在视图缺失条件下表现更优。
• 使用共享编码器将所有观测视图映射到统一的潜在空间，实现所有样本与视图组合的联合优化。
• 在训练过程中应用退化策略以模拟视图缺失，使模型隐式学习从不完整输入中重建并编码信息。
• 端到端训练模型，结合重建损失（用于填补）、对比损失（用于表征学习）和非参数分类损失（用于结构与泛化）

Figure 1: Illustration of Cross Partial Multi-View Networks for classification. Given multi-view data with missing views (black blocks), the encoding 2 2 2 Since we employ a backward encoding strategy which encodes the information from multiple views into latent representations, it can be considered

实验结果

研究问题

• RQ1 深度学习框架能否联合学习具有任意视图缺失模式的多视图数据的完整且多功能的潜在表征？
• RQ2 对抗性训练在多大程度上提升了缺失视图填补的质量，并进一步增强了学习表征的完整性和泛化能力？
• RQ3 非参数分类损失在多大程度上改善了部分多视图学习中潜在表征的结构与可分性？
• RQ4 在重度视图缺失条件下，所提出的CPM-Nets框架在分类、表征学习和数据填补方面与最先进方法相比表现如何？
• RQ5 该模型能否在无需完整视图训练数据的情况下，有效泛化到自然发生的部分多视图数据集？

主要发现

• CPM-GAN在所有六个数据集上的视图填补任务中均优于所有对比方法，且在所有缺失率下均取得最低的NRMSE，验证了对抗性填补策略的有效性。
• 平均而言，CPM-GAN在50%缺失率下相较第二好的方法，分类准确率提升3.36%，NMI提升5.11%，展现出更强的鲁棒性与泛化能力。
• 消融实验表明，CPM-GAN始终优于CPM-without-GAN，尤其在高缺失率下，证明对抗性训练显著提升了填补与表征质量。
• 非参数分类损失促使表征更具结构且更易分离，提升了模型可解释性与性能，尤其在低数据场景下表现更优。
• 即使与VIGAN（一种需少量完整视图数据进行训练的方法）相比，CPM-Nets在两视图数据集（CUB与Animal）上仍取得更优的聚类性能，证明其在完全无监督设置下的优越性。
• 该模型在合成数据集与真实世界自然部分多视图数据集上均保持强劲性能，证实其对复杂真实世界视图缺失模式的适应能力。

Figure 2: Illustration of CPM-Nets for unsupervised learning. The latent representation learning and missing data imputation equipped with adversarial strategy (CPM-GAN) are jointly conducted to improve each other.