[논문 리뷰] Anonymous Walk Embeddings

Sergey Ivanov, Evgeny Burnaev|arXiv (Cornell University)|2018. 05. 30.

Advanced Graph Neural Networks참고 문헌 25인용 수 78

한 줄 요약

이 논문은 Anonymous Walk Embeddings (AWE)를 두 가지 비지도 접근 방식(특징 기반과 데이터 기반)을 통해 익명 워크를 사용하여 전체 그래프를 임베딩하고, 그래프 분류에서 경쟁력 있거나 최첨단 성능을 달성한다.

ABSTRACT

The task of representing entire graphs has seen a surge of prominent results, mainly due to learning convolutional neural networks (CNNs) on graph-structured data. While CNNs demonstrate state-of-the-art performance in graph classification task, such methods are supervised and therefore steer away from the original problem of network representation in task-agnostic manner. Here, we coherently propose an approach for embedding entire graphs and show that our feature representations with SVM classifier increase classification accuracy of CNN algorithms and traditional graph kernels. For this we describe a recently discovered graph object, anonymous walk, on which we design task-independent algorithms for learning graph representations in explicit and distributed way. Overall, our work represents a new scalable unsupervised learning of state-of-the-art representations of entire graphs.

연구 동기 및 목표

• 태스크-에관계 없이 확장 가능한 그래프 수준 표현을 동기화한다.
• 특징 기반 및 데이터 기반 임베딩의 핵심 그래프 객체로 익명 워크를 도입한다.
• 그래프 임베딩을 생성하기 위한 효율적인 샘플링 및 학습 알고리즘을 개발한다.
• 표준 그래프 분류 벤치마크에서 최첨단 또는 경쟁력 있는 성능을 시연한다.

제안 방법

• 익명 워크를 정의하고 이들이 노드 주변의 국지적 토폴로지를 특징적으로 설명하는 이론적 능력을 보인다.
• 샘플링을 통해 익명 워크의 분포를 추정하고 p(a)에서 그래프 임베딩을 형성하여 특징 기반 AWE를 제안한다.
• 익명 워크를 단어처럼 보고 그래프를 문서로, 학습된 그래프 벡터 d를 임베딩으로 삼는 패러그래프-벡터와 유사한 모델을 시뮬레이션하여 데이터 기반 AWE를 제안한다.
• 스킵그램 스타일의 목적을 사용하여 맥락 워크와 그래프 벡터로부터 목표 익명 워크를 예측하는 가능도를 최대화하고, 맥락의 평균화 및 그래프 벡터와의 연결을 수행한다.
• 그래프 간 워크 임베딩 행렬 W를 공유하는 확률적 경사 하강법으로 학습하여 워크 임베딩의 재사용을 가능하게 한다.
• 샘플링 방법(특징 기반의 경우)으로 확장 가능한 학습을 가능하게 하고, 데이터 기반의 경우 효율적 학습을 위해 샘플링된 소프트맥스, 계층적 소프트맥스 또는 NCE를 사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 익명 워크가 비지도 그래프 임베딩의 확장 가능하고 정보가 풍부한 기초가 될 수 있는가?
• RQ2 특징 기반 AWE와 데이터 기반 AWE가 그래프 커널 및 신경망 기반 기준선과 비교하여 그래프 분류 작업에서 어떤 차이를 보이는가?
• RQ3 분류 성능에 대한 워크 길이, 샘플링, 커널 선택의 영향은 무엇인가?
• RQ4 데이터 기반 접근 방식이 여러 그래프 간에 워크 임베딩을 재사용하여 확장성과 성능을 개선할 수 있는가?

주요 결과

• 특징 기반 AWE는 여러 사회 네트워크 데이터셋에서 최첨단 수준의 결과에 근접하거나 그 이상을 달성하고 일부 기준선을 능가할 수 있다.
• 데이터 기반 AWE는 경쟁력 있는 성능을 얻고, 특히 더 긴 학습 및 워크 길이에서 특징 기반 결과를 개선하는 경우가 있다.
• AWE 방법은 비지도이며 커널 분류기와 결합될 때 그래프 분류 벤치마크에서 감독 신경 모델을 능가하거나 일치할 수 있다.
• 이 방법은 노드와 엣지가 수만 개에 달하는 그래프까지 확장 가능하며, Erdos–Renyi 확장 실험에서 임베딩 계산이 몇 초에 불과하다.
• RBF 커널이나 다항 커널을 사용하면 AWE 기반 분류의 비선형 판별 경계가 향상될 수 있다.