[论文解读] A probabilistic framework for multi-view feature learning with many-to-many associations via neural networks

Akifumi Okuno, Tetsuya Hada+1 more|arXiv (Cornell University)|Feb 13, 2018

Advanced Graph Neural Networks被引用 9

一句话总结

该论文提出概率多视图图嵌入（PMvGE），一种基于神经网络的框架，可联合建模多个数据视图之间的非线性特征变换与多对多关联。通过使用小批量随机梯度下降（minibatch SGD）的似然目标函数，PMvGE利用嵌入特征向量的内积学习灵活的相似性度量，在多视图表示学习中表现优于现有方法，同时推广了典型相关分析（CCA）、协同判别多视图分析（CDMCA）和图嵌入技术。

ABSTRACT

A simple framework Probabilistic Multi-view Graph Embedding (PMvGE) is proposed for multi-view feature learning with many-to-many associations so that it generalizes various existing multi-view methods. PMvGE is a probabilistic model for predicting new associations via graph embedding of the nodes of data vectors with links of their associations. Multi-view data vectors with many-to-many associations are transformed by neural networks to feature vectors in a shared space, and the probability of new association between two data vectors is modeled by the inner product of their feature vectors. While existing multi-view feature learning techniques can treat only either of many-to-many association or non-linear transformation, PMvGE can treat both simultaneously. By combining Mercer's theorem and the universal approximation theorem, we prove that PMvGE learns a wide class of similarity measures across views. Our likelihood-based estimator enables efficient computation of non-linear transformations of data vectors in large-scale datasets by minibatch SGD, and numerical experiments illustrate that PMvGE outperforms existing multi-view methods.

研究动机与目标

• 解决现有多视图方法无法同时处理非线性变换和视图间复杂多对多关联的局限性。
• 开发一个统一的概率框架，推广典型相关分析（CCA）、多视图CCA（MCCA）以及CDMCA和SGE等图嵌入方法。
• 通过基于似然的估计器和高效的批量随机梯度下降（minibatch SGD）优化，实现对新数据点的归纳特征学习。
• 证明该框架可通过通用近似定理和Mercer定理学习广泛类别的相似性度量。

提出的方法

• PMvGE使用神经网络将多视图数据向量映射到共享特征空间，通过嵌入向量的内积建模关联关系。
• 该框架采用基于似然的目标函数来估计非线性变换，支持通过小批量随机梯度下降（SGD）实现高效训练。
• 通过允许任意数量的视图（Nv = D）、非线性映射（NL）、多对多关联（MM）和归纳推理（Ind），推广了CCA和CDMCA。
• 结合Mercer定理与通用近似定理，证明PMvGE可对视图间广泛类别的相似性度量进行建模。
• 推导出对数似然的二次近似以实现高效优化，并通过对角化协方差矩阵施加旋转不变性约束。
• 最终解被表示为归一化图拉普拉斯矩阵上的广义特征值问题，通过特征向量按特征值缩放以保持可解释性。

实验结果

研究问题

• RQ1 能否开发一个统一的概率框架，同时处理多视图数据中的非线性变换和多对多关联？
• RQ2 如何在大规模数据集上通过小批量SGD高效优化PMvGE中的基于似然的目标函数？
• RQ3 PMvGE在多大程度上推广了现有的多视图和图嵌入方法，如CCA、CDMCA和GCN？
• RQ4 PMvGE为学习视图间相似性度量提供了哪些理论保证？
• RQ5 PMvGE在多视图表示学习任务中的性能与最先进方法相比如何？

主要发现

• PMvGE通过支持任意视图、非线性、多对多关联和归纳推理，推广了13种现有多视图和图嵌入方法，包括CCA、CDMCA、GCN和GraphSAGE。
• 在数值实验中，该框架表现出优越性能，优于现有方法，在学习鲁棒且可迁移的特征表示方面表现更优。
• 基于似然的估计器使PMvGE能够通过小批量SGD在大规模数据集上实现高效训练，具备良好的可扩展性。
• 理论分析表明，由于Mercer定理与通用近似定理的结合，PMvGE可学习广泛类别的相似性度量。
• 该方法的解与修正后的CDMCA方法在尺度因子意义下等价，特征向量按归一化图拉普拉斯矩阵的特征值平方根进行缩放。
• 该方法在共享空间中保持旋转不变性，最优解通过图拉普拉斯矩阵的广义特征分解导出。