[논문 리뷰] Walklets: Multiscale Graph Embeddings for Interpretable Network Classification.

Bryan Perozzi, Vivek Kulkarni외 1명|arXiv (Cornell University)|2016. 05. 06.

Advanced Graph Neural Networks참고 문헌 18인용 수 58

한 줄 요약

Walklets는 다중 척도에서의 무작위 보행에서 관찰된 정점 오프셋을 모델링하여 분석적으로 유도 가능하고 인간이 이해할 수 있는 정점 표현을 학습하는 다중 척도 그래프 임베딩 방법을 제안한다. 이 방법은 다중 레이블 네트워크 분류 작업에서 신경망 행렬 분해 방법보다 뛰어난 성능을 보이며, 수백만 개의 정점과 간선을 가진 대규모 그래프에 효율적으로 스케일링된다.

ABSTRACT

We present Walklets, a novel approach for learning multiscale representations of vertices in a network. These representations clearly encode multiscale vertex relationships in a continuous vector space suitable for multi-label classification problems. Unlike previous work, the latent features generated using Walklets are analytically derivable, and human interpretable. Walklets uses the offsets between vertices observed in a random walk to learn a series of latent representations, each which captures successively larger relationships. This variety of dependency information allows the same representation strategy to model phenomenon which occur at different scales. We demonstrate Walklets' latent representations on several multi-label network classification tasks for social networks such as BlogCatalog, Flickr, and YouTube. Our results show that Walklets outperforms new methods based on neural matrix factorization, and can scale to graphs with millions of vertices and edges.

연구 동기 및 목표

• 분석적으로 유도 가능하고 해석 가능한 정점 표현을 학습하기 위한 방법을 개발하는 것.
• 무작위 보행 오프셋에서 유도된 잠재 특징을 사용하여 다중 척도에서 정점 간 관계를 모델링하는 것.
• BlogCatalog, Flickr, YouTube와 같은 대규모 사회 네트워크에서 효과적인 다중 레이블 분류를 가능하게 하는 것.
• 스케일이 큰 성능을 유지하면서 최근의 신경 행렬 분해 기반 접근법보다 분류 정확도에서 뛰어나지 않는 것.

제안 방법

• Walklets는 정점 오프셋을 관찰하기 위해 무작위 보행을 사용하며, 관측된 보행 오프셋에서 유도된 잠재 표현의 시퀀스를 통해 점차 증가하는 척도에서의 종속성을 포착한다.
• 각 잠재 표현은 관측된 보행 오프셋에서 분석적으로 유도된 점진적으로 더 큰 척도에서 정점 간의 관계를 인코딩한다.
• 이 방법은 각 수준가 정점 간의 더 거시적인 구조적 관계를 포착하는 임베딩의 계층을 구성한다.
• 임베딩는 해석 가능하도록 설계되어 특정 관계가 최종 표현에 어떻게 기여하는지 추적할 수 있다.
• 이 방법은 무작위 보행의 통계적 성질을 활용하여 종단 간 훈련이 필요 없이 연속적인 벡터 표현을 도출한다.
• 이 방법은 확장 가능하며 수백만 개의 정점과 간선을 가진 그래프를 효율적으로 처리한다.

실험 결과

연구 질문

• RQ1 분석적으로 유도 가능하고 해석 가능한 임베딩를 사용하여 네트워크 내 다중 척도 정점 관계를 포착할 수 있는가?
• RQ2 무작위 보행 오프셋에서 유도된 표현이 다중 레이블 분류에서 신경 행렬 분해 표현과 비교해 어떻게 성능을 내는가?
• RQ3 단일 임베딩 전략이 네트워크 내 다중 구조적 척도에서 발생하는 현상을 효과적으로 모델링할 수 있는가?
• RQ4 이 방법은 BlogCatalog와 YouTube와 같은 대규모 실세계 네트워크에 얼마나 잘 스케일링되는가?

주요 결과

• Walklets는 최신 신경 행렬 분해 기반 방법보다 다중 레이블 네트워크 분류 작업에서 뛰어난 성능을 달성한다.
• 학습된 임베딩는 분석적으로 유도 가능하고 인간이 이해할 수 있어 표현에 포함된 구조적 관계에 대한 통찰을 제공한다.
• 이 방법은 단일 통합 임베딩 전략을 사용하여 네트워크 현상을 다중 척도에서 성공적으로 모델링한다.
• Walklets는 수백만 개의 정점과 간선을 가진 그래프에 효율적으로 스케일링되며, 대규모 데이터셋에서 높은 성능 유지를 유지한다.