[논문 리뷰] The Multiscale Laplacian Graph Kernel

Risi Kondor, Horace Pan|arXiv (Cornell University)|2016. 03. 20.

Advanced Graph Neural Networks참고 문헌 23인용 수 78

한 줄 요약

이 논문은 다중 척도에서의 구조 유사성을 추적하기 위해 중첩된 부분그래프에 Feature Space Laplacian Graph kernel (FLG)를 반복적으로 적용하는 새로운 그래프 커널인 Multiscale Laplacian Graph Kernel (MLG)를 소개한다. MLG 커널은 랜덤화된 RKHS 연산자 프로젝션을 통해 계산 비용을 줄이며, 벤치마크 그래프 데이터셋에서 최신 기술 수준의 성능을 달성하여 분류 정확도에서 기존 커널들을 능가한다.

ABSTRACT

Many real world graphs, such as the graphs of molecules, exhibit structure at multiple different scales, but most existing kernels between graphs are either purely local or purely global in character. In contrast, by building a hierarchy of nested subgraphs, the Multiscale Laplacian Graph kernels (MLG kernels) that we define in this paper can account for structure at a range of different scales. At the heart of the MLG construction is another new graph kernel, called the Feature Space Laplacian Graph kernel (FLG kernel), which has the property that it can lift a base kernel defined on the vertices of two graphs to a kernel between the graphs. The MLG kernel applies such FLG kernels to subgraphs recursively. To make the MLG kernel computationally feasible, we also introduce a randomized projection procedure, similar to the Nyström method, but for RKHS operators.

연구 동기 및 목표

• 실제 그래프(예: 분자 구조)에서 다중 척도에서의 구조적 유사성을 효과적으로 캡처할 수 있는 그래프 커널의 부족을 해결하기 위해.
• 정점 특징과 위상적 구조를 순열 불변 방식으로 통합하는 커널을 개발하기 위해.
• 계층적 부분그래프에 기본 커널을 반복 적용하여 다중 척도 그래프 비교를 계산적으로 효율적으로 설계하기 위해.
• RKHS 연산자에 대한 랜덤화된 프로젝션 기법을 도입하여 스펙트럼 그래프 방법을 대규모 그래프 학습에서 실용적으로 사용할 수 있도록 하기 위해.

제안 방법

• FLG 커널은 그래프 라플라시안을 사용하여 정점 특징의 기본 커널을 그래프 수준 커널으로 승격시켜, 특징과 위상적 정보를 동시에 사용할 수 있도록 한다.
• MLG 커널은 중첩된 부분그래프의 계층에서 FLG 커널을 반복적으로 적용하여 다중 척도에서의 구조적 관계를 캡처한다.
• 라플라시안의 RKHS 연산자를 근사하기 위해 랜덤화된 프로젝션 방법을 도입하여 계산 비용을 감소시키면서도 커널 성질을 유지한다.
• 구성상 순열 불변성을 확보하여 정점 레이블링 및 순서에 영향을 받지 않도록 보장한다.
• 기본 커널(예: 원-핫 레이블의 내적)을 사용하여 정점 특징을 인코딩하고, 라플라시안을 통해 스펙트럼 그래프 성질과 통합한다.
• 교차 검증을 통해 수준 수, 반경 크기, 정규화 매개변수(η, γ)와 같은 하이퍼파rameter가 조정된다.

실험 결과

연구 질문

• RQ1 분자와 같은 그래프에서 다중 척도에서의 구조적 유사성을 효과적으로 캡처할 수 있는 그래프 커널이 가능한가?
• RQ2 정점 특징과 위상적 구조를 순열 불변적이면서도 계산적으로 효율적인 방식으로 함께 모델링할 수 있는가?
• RQ3 재귀적이고 다중 척도적인 접근 방식이 벤치마크 분류 작업에서 순수하게 局소 또는 전역 그래프 커널보다 뛰어나게 성능을 낼 수 있는가?
• RQ4 정규화 및 커널 매개변수 선택이 MLG 커널의 성능에 미치는 영향은 무엇인가?

주요 결과

• MLG 커널은 MUTAG, PTC, ENZYMES, PROTEINS, NCI109를 포함한 6개의 벤치마크 데이터셋 중 5개에서 가장 높은 분류 정확도를 기록했다.
• NCI1 데이터셋에서 MLG 커널은 81.75%의 정확도를 달성하여, 모든 비-Weisfeiler-Lehman 커널을 능가했으며, 해당 데이터셋에서 가장 뛰어난 성능을 보인 커널과 동일한 성능을 보였다.
• 모든 데이터셋에서 MLG 계층의 최적 수준 수는 일관되게 2 또는 3이었으며, 이는 더 깊은 계층이 성능 향상에 크게 기여하지 않는다는 것을 시사한다.
• 최적의 정규화 매개변수 η와 γ는 일반적으로 0.01 또는 0.1이었으며, 이는 작은 값이 구조적 차이에 대한 민감성을 유지하는 데 충분함을 시사한다.
• 가장 큰 데이터셋(NCI109)에서의 런타임은 90분 이내였으며, 이는 재귀적 구조에도 불구하고 계산 가능성을 입증한다.
• NCI1과 NCI109에서 MLG 커널이 Weisfeiler–Lehman 커널을 능가하여 다중 척도 모델링 능력이 뛰어나다는 것을 보여주었다.