[论文解读] Graph Embedding with Shifted Inner Product Similarity and Its Improved Approximation Capability

Akifumi Okuno, Geewook Kim+1 more|arXiv (Cornell University)|Oct 4, 2018

Advanced Graph Neural Networks被引用 8

一句话总结

本文提出了一种基于神经网络的图嵌入方法——移位内积相似度（SIPS），通过引入可学习偏置项，将传统内积相似度（IPS）扩展为一种新型方法。SIPS在理论上能够近似正定（PD）及条件正定（CPD）相似度（如余弦相似度、负双曲空间距离和负Wasserstein距离），从而克服了IPS仅限于PD核的理论局限。在真实世界数据集上的实验表明，SIPS在近似精度和性能方面均优于现有方法。

ABSTRACT

We propose shifted inner-product similarity (SIPS), which is a novel yet very simple extension of the ordinary inner-product similarity (IPS) for neural-network based graph embedding (GE). In contrast to IPS, that is limited to approximating positive-definite (PD) similarities, SIPS goes beyond the limitation by introducing bias terms in IPS; we theoretically prove that SIPS is capable of approximating not only PD but also conditionally PD (CPD) similarities with many examples such as cosine similarity, negative Poincare distance and negative Wasserstein distance. Since SIPS with sufficiently large neural networks learns a variety of similarities, SIPS alleviates the need for configuring the similarity function of GE. Approximation error rate is also evaluated, and experiments on two real-world datasets demonstrate that graph embedding using SIPS indeed outperforms existing methods.

研究动机与目标

• 为克服传统内积相似度（IPS）在图嵌入中仅能近似正定（PD）核的理论局限。
• 构建一个统一框架，能够近似更广泛的相似度类别，包括余弦相似度、负双曲空间距离和负Wasserstein距离等条件正定（CPD）核。
• 为基于神经网络的图嵌入模型提供理论基础，使其在近似能力上超越传统IPS的限制。
• 通过实证验证，SIPS在真实世界图嵌入任务中可提升近似精度与下游性能。

提出的方法

• 提出移位内积相似度（SIPS）作为IPS的推广，引入可学习偏置项：$\text{SIPS}(\boldsymbol{x}, \boldsymbol{x}') = \langle \boldsymbol{f}(\boldsymbol{x}), \boldsymbol{f}(\boldsymbol{x}') \rangle + b_1 + b_2 $，其中$\boldsymbol{f}$为神经网络，$b_1, b_2$为可学习偏置。
• 理论上证明，通过将核分解为两个正定核之差$g_+(\cdot, \cdot) - g_-(\cdot, \cdot)$，SIPS可任意精度近似任意CPD核，且每个PD核均可通过神经网络的通用近似能力实现近似。
• 应用广义的Mercer定理于Krein空间，利用CPD核可表示为两个PD核之差的性质，实现通过两个独立神经网络进行通用近似。
• 采用双流神经网络架构，输出相似度计算为两个内积之差：$\text{SIPS} = \langle \boldsymbol{f}_{+}(\boldsymbol{x}), \boldsymbol{f}_{+}(\boldsymbol{x}') \rangle - \langle \boldsymbol{f}_{-}(\boldsymbol{x}), \boldsymbol{f}_{-}(\boldsymbol{x}') \rangle$，支持共享或独立网络。
• 利用神经网络的通用近似定理（UAT），保证两个分量$g_+$和$g_-$可由独立神经网络任意精确地近似。
• 在真实世界数据集上通过近似误差率和下游图嵌入性能，对SIPS进行实证评估，并与IPS及其他最先进方法进行比较。

实验结果

研究问题

• RQ1 基于神经网络的图嵌入模型是否能够突破传统内积相似度（IPS）仅限于正定（PD）核的约束，实现对非PD相似度的近似？
• RQ2 是否能够从理论上证明，通过改进的内积形式可近似条件正定（CPD）核，如余弦相似度、负双曲空间距离和负Wasserstein距离？
• RQ3 引入可学习偏置的移位内积相似度（SIPS）在图嵌入中，其近似能力相较于标准IPS的泛化能力可提升至何种程度？
• RQ4 在真实世界数据集上，SIPS相较于现有图嵌入方法在近似精度和下游性能方面表现如何？
• RQ5 对于非CPD核（如深度高斯嵌入中的负Jeffrey散度），SIPS是否仍可近似，还是需要更通用的框架？

主要发现

• SIPS可通过将CPD核分解为两个正定（PD）核之差，理论上实现任意精度的近似，且每个PD核均可借助神经网络的通用近似能力实现。
• 本文证明，SIPS通过引入可学习偏置项，成功克服了标准内积相似度（IPS）仅限于PD核的根本局限，实现了对非PD相似度的建模。
• SIPS成功近似了关键的非PD相似度，如余弦相似度、负双曲空间距离和负Wasserstein距离，这些相似度虽为CPD但非PD。
• 在两个真实世界数据集上的实证评估表明，SIPS的近似误差率低于标准IPS及其他基线方法。
• 基于SIPS训练的图嵌入在下游任务中表现优于IPS及其他现有方法，证实了其更强的近似能力与泛化性能。
• 理论分析表明，深度高斯嵌入中使用的负Jeffrey散度并非CPD，因此SIPS无法近似此类核，提示未来需采用更通用的框架（如IPDS）进行扩展。