[논문 리뷰] Latent Network Summarization: Bridging Network Embedding and Summarization

Di Jin, Ryan A. Rossi외 4명|arXiv (Cornell University)|2018. 11. 11.

Advanced Graph Neural Networks참고 문헌 31인용 수 4

한 줄 요약

이 논문은 관계 연산자와 함수 조합을 사용하여 크기 독립적이고 저질서 구조 요약을 학습하는 잠재 네트워크 요약을 위한 새로운 인덕티브 프레임워크인 Multi-LENS를 소개한다. 이는 밀도 높은 임베딩 방법보다 링크 예측 AUC를 3.5–34.3% 높이면서도 저장소를 80–2152배 줄여, 전체 밀도 임베딩을 저장하지 않고도 실시간으로 노드 임베딩을 계산할 수 있도록 한다.

ABSTRACT

Motivated by the computational and storage challenges that dense embeddings pose, we introduce the problem of latent network summarization that aims to learn a compact, latent representation of the graph structure with dimensionality that is independent of the input graph size (i.e., #nodes and #edges), while retaining the ability to derive node representations on the fly. We propose Multi-LENS, an inductive multi-level latent network summarization approach that leverages a set of relational operators and relational functions (compositions of operators) to capture the structure of egonets and higher-order subgraphs, respectively. The structure is stored in low-rank, size-independent structural feature matrices, which along with the relational functions comprise our latent network summary. Multi-LENS is general and naturally supports both homogeneous and heterogeneous graphs with or without directionality, weights, attributes or labels. Extensive experiments on real graphs show 3.5 - 34.3% improvement in AUC for link prediction, while requiring 80 - 2152x less output storage space than baseline embedding methods on large datasets. As application areas, we show the effectiveness of Multi-LENS in detecting anomalies and events in the Enron email communication graph and Twitter co-mention graph.

연구 동기 및 목표

• 대규모 그래프에서 밀도 높은 네트워크 임베딩의 높은 계산 및 저장 비용을 해결한다.
• 그래프 크기에 관계없이 독립적인 그래프 요약을 생성하는 새로운 잠재 네트워크 요약 문제를 정의한다.
• 이질적, 방향성, 가중치가 있는, 그리고 속성이 있는 그래프를 지원하는 일반적인 인덕티브 프레임워크를 개발한다.
• 전체 임베딩을 저장하지 않고도 실시간으로 노드 임베딩을 계산할 수 있도록 한다.
• 최소한의 저장소 오버헤드로도 링크 예측 및 이상 탐지와 같은 후행 작업에서 뚜렷한 성능 향상을 달성한다.

제안 방법

• 노드 이웃에 대한 관계 연산자(예: 평균, 합)를 사용하여 다중 수준의 구조적 함수를 조합하는 인덕티브 프레임워크인 Multi-LENS를 제안한다.
• 저질서 근사법을 사용하여 관계 함수 조합으로부터 크기 독립적인 구조적 특징 행렬(S)을 크기 K×C로 유도한다.
• 잠재 요약을 관계 함수(F_r)와 저질서 행렬(S)의 조합으로 표현하며, 이는 노드 수와 간선 수에 관계없이 독립적이다.
• 다양한 노드 및 간선 유형 간의 관계 연산자를 적용하여 이질적 그래프를 지원하며, 메타패스 기반 조합도 가능하게 한다.
• 노드 전용 컨텍스트 함수와 잠재 요약을 조합하여 실시간으로 노드 임베딩을 계산할 수 있도록 한다.
• 간선 수에 비례하는 선형 시간 복잡도를 확보하고 노드 단위의 계산을 병렬화할 수 있도록 하여 확장성을 보장한다.

실험 결과

연구 질문

• RQ1 크기 독립적이면서도 구조적 정보를 유지하는 잠재 네트워크 요약 프레임워크를 설계할 수 있는가?
• RQ2 밀도 높은 임베딩보다 관계 함수 조합이 고차원 네트워크 구조를 더 효율적으로 포괄할 수 있는가?
• RQ3 제안된 방법이 임베딩 기반 방법보다 훨씬 적은 저장소를 사용하면서도 링크 예측 성능을 더 높일 수 있는가?
• RQ4 잠재 요약이 인덕티브 학습과 실시간 노드 임베딩 생성을 지원할 수 있는가?
• RQ5 실세계 응용 분야에서, 예를 들어 대규모 그래프에서의 이상 및 사건 탐지에 이 방법은 얼마나 효과적인가?

주요 결과

• Multi-LENS는 실제 그래프에서 최신 기술의 임베딩 방법보다 링크 예측 AUC를 3.5–34.3% 높이는데 성공했다.
• 수백만 개의 간선을 포함하는 대규모 데이터셋에서 기존 임베딩 기법 대비 출력 저장소 공간을 80–2152배 줄였다.
• 이 프레임워크는 인덕티브 학습을 지원하며, 전체 밀도 임베딩을 저장하지 않고도 실시간으로 노드 임베딩을 계산할 수 있다.
• Multi-LENS는 Enron 이메일 및 Twitter 공기명 그래프에서 이상 및 사건 탐지에 효과적으로 활용되어 실용적 유용성을 입증했다.
• 간선 수에 비례하는 선형 확장성과 병렬 처리가 가능하여 대규모 그래프에 적합하다.
• 잠재 요약은 일반적이며, 작업에 특화된 튜닝 없이도 이질적, 방향성, 가중치가 있는, 그리고 속성이 있는 그래프를 모두 지원한다.