[論文レビュー] Graph Embedding with Shifted Inner Product Similarity and Its Improved Approximation Capability

Akifumi Okuno, Geewook Kim+1 more|arXiv (Cornell University)|Oct 4, 2018

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、学習可能なバイアス項を導入することで従来の内積類似度（IPS）を拡張する、ニューラルネットワークベースのグラフ埋め込み手法であるシフトド内積類似度（SIPS）を提案する。SIPSは理論的に、コサイン類似度、負のポアンカレ距離、負のワサーライン距離など、正定値（PD）および条件付き正定値（CPD）類似度を任意の精度で近似可能であることを保証する。これにより、PDカーネルに限定されるIPSの根本的制限を克服する。実世界のデータセットを用いた実験では、SIPSが既存手法を上回る近似精度と性能を達成している。

ABSTRACT

We propose shifted inner-product similarity (SIPS), which is a novel yet very simple extension of the ordinary inner-product similarity (IPS) for neural-network based graph embedding (GE). In contrast to IPS, that is limited to approximating positive-definite (PD) similarities, SIPS goes beyond the limitation by introducing bias terms in IPS; we theoretically prove that SIPS is capable of approximating not only PD but also conditionally PD (CPD) similarities with many examples such as cosine similarity, negative Poincare distance and negative Wasserstein distance. Since SIPS with sufficiently large neural networks learns a variety of similarities, SIPS alleviates the need for configuring the similarity function of GE. Approximation error rate is also evaluated, and experiments on two real-world datasets demonstrate that graph embedding using SIPS indeed outperforms existing methods.

研究の動機と目的

• 従来の内積類似度（IPS）が正定値（PD）カーネルに限定されるという理論的制限を克服すること。
• コサイン類似度、負のポアンカレ距離、負のワサーライン距離など、条件付きPD（CPD）カーネルを含むより広い類似度クラスを一元的に近似可能なフレームワークを構築すること。
• 従来のIPSの制限を超えたニューラルネットワークベースのグラフ埋め込みモデルの近似能力に理論的基盤を提供すること。
• SIPSが実世界のグラフ埋め込みタスクにおいて、近似精度と下流タスク性能を向上させることを実証的に検証すること。

提案手法

• 学習可能なバイアス項を導入することでIPSの一般化としてシフトド内積類似度（SIPS）を提案：$\text{SIPS}(\boldsymbol{x}, \boldsymbol{x}') = \langle \boldsymbol{f}(\boldsymbol{x}), \boldsymbol{f}(\boldsymbol{x}') \rangle + b_1 + b_2 $、ここで$\boldsymbol{f}$はニューラルネットワーク、$b_1, b_2$は学習可能なバイアスである。
• 理論的に、SIPSが任意のCPDカーネルを、二つのPDカーネルの差に分解することで任意の精度で近似可能であることを証明する：$g_+(\cdot, \cdot) - g_-(\cdot, \cdot)$、それぞれのPDカーネルはニューラルネットワークによる汎用近似で実現可能である。
• Kreイン空間への一般化されたメルサールの定理を適用し、CPDカーネルがPDカーネルの差として表現可能であることに着目することで、二つの別々のニューラルネットワークによる汎用近似を可能にする。
• 二本のストリームを持つニューラルネットワークアーキテクチャを採用し、出力類似度を二つの内積の差として計算する：$\text{SIPS} = \langle \boldsymbol{f}_{+}(\boldsymbol{x}), \boldsymbol{f}_{+}(\boldsymbol{x}') \rangle - \langle \boldsymbol{f}_{-}(\boldsymbol{x}), \boldsymbol{f}_{-}(\boldsymbol{x}') \rangle$、ネットワークは共有または別々に構築可能である。
• ニューラルネットワークの汎用近似定理（UAT）を用い、二つの成分$g_+$と$g_-$が別々のニューラルネットワークによって任意に良く近似可能であることを保証する。
• 実世界のデータセットを用いて近似誤差率と下流タスクのグラフ埋め込み性能を評価し、IPSおよび他の最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースのグラフ埋め込みモデルは、従来の内積類似度の正定値（PD）カーネル制限を超えて、類似度を近似可能か？
• RQ2 コサイン類似度、負のポアンカレ距離、負のワサーライン距離といった条件付きPD（CPD）カーネルを、修正された内積形式を用いて理論的に正当化できるか？
• RQ3 学習可能なバイアスを有するシフトド内積類似度（SIPS）は、グラフ埋め込みにおける標準的IPSの近似能力をどの程度一般化できるか？
• RQ4 実世界のデータセットにおいて、SIPSは既存のグラフ埋め込み手法と比較して、近似精度と下流タスク性能で優れているか？
• RQ5 非CPDカーネル、例えばディープガウス埋め込みにおける負のジェフリーの発散は、SIPSで近似可能か、それとも別のフレームワークを必要とするか？

主な発見

• SIPSは、任意の条件付き正定値（CPD）カーネルを、二つの正定値（PD）カーネルの差に分解することで、任意の精度で理論的に近似可能である。それぞれのPDカーネルはニューラルネットワークによる汎用近似で実現可能である。
• 本稿では、SIPSが学習可能なバイアス項を導入することで、標準的内積類似度（IPS）がPDカーネルに限定される根本的制限を克服し、非PD類似度のモデル化を可能にすることを証明している。
• SIPSは、コサイン類似度、負のポアンカレ距離、負のワサーライン距離といった、CPDではあるがPDではない代表的な非PD類似度を効果的に近似している。
• 二つの実世界データセットを用いた実験により、SIPSは標準的IPSおよび他のベースライン手法と比較して、より低い近似誤差率を達成している。
• 下流タスクにおけるグラフ埋め込みの性能評価では、SIPSで学習した埋め込みがIPSや他の既存手法を上回っており、より優れた近似能力と一般化性能が裏付けられている。
• 理論的分析により、ディープガウス埋め込みで用いられる負のジェフリーの発散はCPDでないことが示されており、SIPSではそのようなカーネルを近似できないことが判明した。これにより、将来的にはより一般的なフレームワーク（例：IPDS）の必要性が示唆されている。