[論文レビュー] LCS Graph Kernel Based on Wasserstein Distance in Longest Common Subsequence Metric Space

Jianming Huang, Zhongxi Fang+1 more|arXiv (Cornell University)|Dec 7, 2020

Advanced Graph Neural Networks参考文献 63被引用数 22

ひとこと要約

本稿では、長さの異なるパスの比較を可能にし、過剰な平滑化と計算コストを低減するため、最長共通部分列（LCS）類似度を用いて経路系列の距離空間におけるウォッサーシュタイン距離を計算する新規なグラフカーネル、LCS-GKを提案する。従来のR畳み込みフレームワークに代えてLCSから導出された基準距離に基づく最適輸送を採用することで、特に長さが異なるパスに対して優れたグラフ類似度測定が可能となり、隣接点の統合を導入して表現を疎にすることで、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

For graph learning tasks, many existing methods utilize a message-passing mechanism where vertex features are updated iteratively by aggregation of neighbor information. This strategy provides an efficient means for graph features extraction, but obtained features after many iterations might contain too much information from other vertices, and tend to be similar to each other. This makes their representations less expressive. Learning graphs using paths, on the other hand, can be less adversely affected by this problem because it does not involve all vertex neighbors. However, most of them can only compare paths with the same length, which might engender information loss. To resolve this difficulty, we propose a new Graph Kernel based on a Longest Common Subsequence (LCS) similarity. Moreover, we found that the widely-used R-convolution framework is unsuitable for path-based Graph Kernel because a huge number of comparisons between dissimilar paths might deteriorate graph distances calculation. Therefore, we propose a novel metric space by exploiting the proposed LCS-based similarity, and compute a new Wasserstein-based graph distance in this metric space, which emphasizes more the comparison between similar paths. Furthermore, to reduce the computational cost, we propose an adjacent point merging operation to sparsify point clouds in the metric space.

研究の動機と目的

• メッセージパッシング機構による過剰な隣接ノード情報の集約が引き起こすグラフニューラルネットワークにおける過剰な平滑化を是正すること。
• 従来のパスベースグラフカーネルが比較対象のパス長が等しい必要があるという制限により情報損失が生じる問題を克服すること。
• 新規に提案されたLCSに基づく基準距離を用いた最適輸送により、R畳み込みフレームワークを置き換えることで、グラフ類似度計算を改善すること。
• LCS距離空間における隣接点統合を導入することで、計算コストを低減し、経路系列表現を効率的に表現すること。

提案手法

• LCS類似度を用いた新しい距離空間を提案し、基準距離を d(x1,x2) = 1 − Flcs(x1,x2)/max(|x1|,|x2|) として定義する。この距離は距離公理を満たす。
• 経路系列の正規化された質量ベクトル間のウォッサーシュタイン距離を用いてグラフ類似度を計算し、類似した経路同士の比較を強調する。
• 多数の類似しない経路ペairが類似度推定を劣化させる影響を軽減するため、標準的なR畳み込みフレームワークを最適輸送に置き換える。
• LCS距離空間内での類似した経路を統合する隣接点統合操作を導入し、冗長性を低減するとともに、経路クラウド表現を疎にすることで効率化する。
• 提案された基準距離行列を用いて、最適輸送問題を効率的に解くためにSinkhornアルゴリズムを採用する。
• パラメータλを用いたラプラシアンカーネルを用い、最終的なカーネル値を kLCS(G1,G2) = exp(−λdG) として計算する。ここで dG はウォッサーシュタイン距離である。

実験結果

リサーチクエスチョン

• RQ1 LCSに基づく類似度は、長さの異なるグラフ経路の有効な比較を可能にし、長さ制約による情報損失を回避できるか？
• RQ2 パスベースグラフカーネルにおいてR畳み込みフレームワークを最適輸送に置き換えることで、類似しない経路ペairの重みを低減し、類似度推定を改善できるか？
• RQ3 表現の表現力に損なわれることなく、パスベースグラフカーネルにおける計算コストをどのように低減できるか？
• RQ4 LCS距離空間における隣接点統合は、冗長性を効果的に低減しつつ、経路表現の構造的情報を保持できるか？

主な発見

• 提案されたLCS距離は、正定値性、対称性、三角不等式を含むすべての距離公理を満たしており、数学的妥当性が保証される。
• LCS距離空間で計算されたウォッサーシュタイン距離は、類似しない経路ペアに低い重みを割り当て、よりロバストで正確なグラフ類似度推定を実現する。
• 隣接点統合操作により、経路系列の数が顕著に削減され、識別力の損失を最小限に抑えつつ計算効率が向上する。
• LCS-GKカーネルは、WWL や Weisfeiler-Lehman を含む既存のグラフカーネルを上回る、複数のベンチマークグラフ分類データセットにおける最先端の性能を達成する。
• 実験結果から、本手法は長さが異なるパスを多く含むグラフや、高い冗長性を示すグラフの処理において特に効果的であり、優れた一般化性能を示す。