[논문 리뷰] Towards a practical $k$-dimensional Weisfeiler-Leman algorithm

Christopher Morris, Petra Mutzel|arXiv (Cornell University)|2019. 04. 02.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 각 반복에서 그래프에 따라 결정되는 희소한 부분집합으로 이웃 탐색을 제한함으로써 계산 오버헤드를 줄이는 $k$-차원 Weisfeiler-Leman 알고리즘의 국소적 변종을 소개한다. 이 최적화에도 불구하고, 이 방법은 원래 알고리즘의 이so형 그래프를 구별할 수 있는 능력을 유지하며, 벤치마크 그래프 데이터셋에서 더 빠른 런타임과 향상된 분류 정확도를 달성한다.

ABSTRACT

The $k$-dimensional Weisfeiler-Leman algorithm is a well-known heuristic for the graph isomorphism problem. Moreover, it recently emerged as a powerful tool for supervised graph classification. The algorithm iteratively partitions the set of $k$-tuples, defined over the set of vertices of a graph, by considering neighboring $k$-tuples. Here, we propose a ew{local} variant which considers a subset of the original neighborhood in each iteration step. The cardinality of this local neighborhood, unlike the original one, only depends on the sparsity of the graph. Surprisingly, we show that the local variant has at least the same power as the original algorithm in terms of distinguishing non-isomorphic graphs. In order to demonstrate the practical utility of our local variant, we apply it to supervised graph classification. Our experimental study shows that our local algorithm leads to improved running times and classification accuracies on established benchmark datasets.

연구 동기 및 목표

• 그래프 분석 작업에서 표준 $k$-차원 Weisfeiler-Leman 알고리즘의 높은 계산 비용을 해결하기 위해.
• 원래 알고리즘의 구별 능력을 유지하면서 국소적 이웃 탐색을 통해 런타임을 줄이는 변종을 개발하기 위해.
• 실제 세계의 그래프 분류 벤치마크에서 제안된 방법의 실용적 성능을 평가하기 위해.
• 그래프의 희소성에 기반한 국소적 이웃 선택이 이론적 보장을 유지하면서 효율성을 향상시킬 수 있는지 보여주기 위해.

제안 방법

• 알고리즘은 그래프의 희소성에 따라 각 반복에서 고려되는 이웃 $k$-튜플의 수를 제한하는 국소적 이웃 선택 전략을 도입한다.
• 모든 이웃 $k$-튜플을 처리하는 대신, 원래 $k$-WL 알고리즘과 동일한 구별 능력을 유지하는 데에 충분한 부분집합만 선택한다.
• 국소적 이웃는 그래프의 간선 밀도에 따라 스케일링되는 카디널리티를 보장하는 희소성 인식 기준을 사용하여 정의된다.
• 알고리즘은 오직 이러한 국소적으로 선택된 이웃을 사용하여 $k$-튜플의 파artition을 반복적으로 개선하며, 원래 $k$-WL 개선 과정과 일관성을 유지한다.
• 표준 벤치마크에서의 경험적 성능 평가를 위해, 이 방법은 지도 학습 기반 그래프 분류 파이프라인에 통합된다.

실험 결과

연구 질문

• RQ1 국소적 변종인 $k$-차원 Weisfeiler-Leman 알고리즘은 원래 알고리즘과 동일한 구별 능력을 유지할 수 있는가?
• RQ2 그래프의 희소성에 기반해 이웃 크기를 줄이면 정확도를 희생시키지 않고도 런타임에서 뚜렷한 성능 향상이 이루어지는가?
• RQ3 벤치마크 데이터셋에서 국소적 $k$-WL 알고리즘은 표준 $k$-WL과 비교해 분류 정확도에서 어떻게 다른가?
• RQ4 희소성 인식 기반의 이웃 선택은 대규모 그래프에 대한 알고리즘의 확장성에 어떤 영향을 미치는가?

주요 결과

• 국소적 $k$-차원 Weisfeiler-Leman 알고리즘은 원래 알고리즘과 동일한 구별 능력을 확보하며, 이론적 보장을 유지한다.
• 제한된 이웃 탐색 덕분에 알고리즘이 런타임을 크게 줄여 대규모 또는 희소한 그래프에 대해 더 확장 가능해진다.
• 기존의 그래프 분류 벤치마크에서 국소 변종은 표준 $k$-WL 알고리즘보다 더 높은 분류 정확도를 달성한다.
• 성능 향상은 국소적 개선 과정에서의 과적합 감소와 더 효율적인 특징 전파에 기인한다.