[논문 리뷰] LCS Graph Kernel Based on Wasserstein Distance in Longest Common Subsequence Metric Space

Jianming Huang, Zhongxi Fang외 1명|arXiv (Cornell University)|2020. 12. 07.

Advanced Graph Neural Networks참고 문헌 63인용 수 22

한 줄 요약

이 논문은 경로 시퀀스의 거리 공간에서 워셔슈타인 거리(Wasserstein distance)를 계산하기 위해 최장 공통 부분수열(Longest Common Subsequence, LCS) 유사도를 활용하는 새로운 그래프 커널인 LCS-GK를 제안한다. 이는 과도한 스무딩(over-smoothing)과 계산 비용을 감소시킨다. 기존의 R-convolution 프레임워크를 LCS 기반의 지름거리(ground distance)에 기반한 최적 운반(optimal transport)로 대체함으로써, 길이가 다른 경로에 대해서도 유사도 측정을 향상시키며, 인접한 점 병합을 도입하여 표현을 희박화시켜, 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

For graph learning tasks, many existing methods utilize a message-passing mechanism where vertex features are updated iteratively by aggregation of neighbor information. This strategy provides an efficient means for graph features extraction, but obtained features after many iterations might contain too much information from other vertices, and tend to be similar to each other. This makes their representations less expressive. Learning graphs using paths, on the other hand, can be less adversely affected by this problem because it does not involve all vertex neighbors. However, most of them can only compare paths with the same length, which might engender information loss. To resolve this difficulty, we propose a new Graph Kernel based on a Longest Common Subsequence (LCS) similarity. Moreover, we found that the widely-used R-convolution framework is unsuitable for path-based Graph Kernel because a huge number of comparisons between dissimilar paths might deteriorate graph distances calculation. Therefore, we propose a novel metric space by exploiting the proposed LCS-based similarity, and compute a new Wasserstein-based graph distance in this metric space, which emphasizes more the comparison between similar paths. Furthermore, to reduce the computational cost, we propose an adjacent point merging operation to sparsify point clouds in the metric space.

연구 동기 및 목표

• 메시지 전파 메커니즘이 과도하게 근접한 노드 정보를 집계함으로써 발생하는 그래프 신경망의 과도한 스무딩 문제를 해결하기 위해.
• 기존의 경로 기반 그래프 커널이 비교를 위해 경로 길이를 동일하게 요구함으로써 발생하는 정보 손실 문제를 해결하기 위해.
• 기존의 R-convolution 프레임워크를 새로운 LCS 기반 지름거리에 기반한 최적 운반으로 대체하여 그래프 유사도 계산을 향상시키기 위해.
• LCS 거리 공간에서 인접한 점 병합을 통해 계산 비용을 줄이고, 경로 시퀀스 표현을 효율적으로 유지하기 위해.

제안 방법

• LCS 유사도를 사용하는 새로운 거리 공간을 제안하며, 지름거리를 d(x1,x2) = 1 − Flcs(x1,x2)/max(|x1|,|x2|)로 정의하여 거리 공리(axiom)를 만족시킨다.
• 정규화된 질량 벡터 간의 워셔슈타인 거리를 사용하여 경로 시퀀스의 그래프 유사도를 계산하며, 유사한 경로 간 비교에 중점을 둔다.
• 유사도 추정의 정확도를 떨어뜨리는 수많은 비유사 경로 쌍의 영향을 줄이기 위해 표준 R-convolution 프레임워크를 최적 운반으로 대체한다.
• LCS 거리 공간에서 유사한 경로를 병합하는 인접한 점 병합 연산을 도입하여 중복을 줄이고 경로 클라우드 표현을 희박화시킨다.
• 제안된 지름거리 행렬을 기반으로 최적 운반 문제를 효율적으로 해결하기 위해 Sinkhorn 알고리즘을 사용한다.
• 파rameter λ를 가진 라플라시안 커널을 사용하여 최종 커널 값을 kLCS(G1,G2) = exp(−λdG)로 계산하며, 여기서 dG는 워셔슈타인 거리이다.

실험 결과

연구 질문

• RQ1 LCS 기반 유사도는 길이가 다른 경로를 효과적으로 비교할 수 있는가? 길이 제약으로 인한 정보 손실을 피할 수 있는가?
• RQ2 경로 기반 그래프 커널에서 R-convolution 프레임워크를 최적 운반으로 대체함으로써, 비유사 경로 쌍의 영향을 줄여 유사도 추정을 향상시킬 수 있는가?
• RQ3 표현력의 손실 없이 경로 기반 그래프 커널의 계산 비용을 어떻게 줄일 수 있는가?
• RQ4 LCS 거리 공간에서의 인접한 점 병합이 중복을 효과적으로 줄이고 경로 표현의 구조적 정보를 유지하는 데 효과적인가?

주요 결과

• 제안된 LCS 거리 공간은 양의 정부호성, 대칭성, 삼각부등식을 포함한 모든 거리 공리를 만족하여 수학적으로 타당함을 입증한다.
• LCS 거리 공간에서 계산된 워셔슈타인 거리는 비유사 경로 쌍에 대해 낮은 가중치를 할당하여 더 강인하고 정확한 그래프 유사도 추정을 가능하게 한다.
• 인접한 점 병합 연산은 경로 시퀀스의 수를 크게 줄여 계산 효율성을 향상시키며, 분류 능력의 손실는 최소한도로 유지한다.
• LCS-GK 커널은 다양한 벤치마크 그래프 분류 데이터셋에서 최신 기술 수준의 성능을 달성하며, WWL 및 Weisfeiler-Lehman과 같은 기존 그래프 커널을 모두 능가한다.
• 실험 결과는 이 방법이 길이가 다양하고 중복성이 높은 그래프를 처리하는 데 특히 효과적이며, 뛰어난 일반화 성능을 보임을 시사한다.