[논문 리뷰] Dynamic Node Embeddings from Edge Streams

John Boaz Lee, Tien Giang Nguyen외 4명|arXiv (Cornell University)|2019. 04. 12.

Epigenetics and DNA Methylation참고 문헌 94인용 수 7

한 줄 요약

이 논문은 시간에 유효한 랜덤 워크를 사용하여 엣지 스트림으로부터 직접 동적 노드 임베딩을 학습하는 Continuous-Time Dynamic Network Embeddings (CTDNE) 프레임워크를 제안한다. 이는 정적 스냅샷 근사의 단점을 피하며, 온라인 스트리밍 기능을 통해 가장 세밀한 시간 해상도에서 시간적 종속성을 모델링함으로써 데이터셋 간 평균 11.9%의 AUC 향상을 달성한다.

ABSTRACT

Networks evolve continuously over time with the addition, deletion, and changing of links and nodes. Such temporal networks (or edge streams) consist of a sequence of timestamped edges and are seemingly ubiquitous. Despite the importance of accurately modeling the temporal information, most embedding methods ignore it entirely or approximate the temporal network using a sequence of static snapshot graphs. In this work, we propose using the notion of temporal walks for learning dynamic embeddings from temporal networks. Temporal walks capture the temporally valid interactions (e.g., flow of information, spread of disease) in the dynamic network in a lossless fashion. Based on the notion of temporal walks, we describe a general class of embeddings called continuous-time dynamic network embeddings (CTDNEs) that completely avoid the issues and problems that arise when approximating the temporal network as a sequence of static snapshot graphs. Unlike previous work, CTDNEs learn dynamic node embeddings directly from the temporal network at the finest temporal granularity and thus use only temporally valid information. As such CTDNEs naturally support online learning of the node embeddings in a streaming real-time fashion. Finally, the experiments demonstrate the effectiveness of this class of embedding methods that leverage temporal walks as it achieves an average gain in AUC of 11.9% across all methods and graphs.

연구 동기 및 목표

• 네트워크의 시간적 동역학을 忽시하거나 불완전하게 근사하는 기존의 노드 임베딩 방법의 한계를 해결하기 위해.
• 최소한의 시간 해상도에서 연속적인 엣지 스트림으로부터 직접 동적 노드 임베딩을 학습할 수 있는 프레임워크를 개발하기 위해.
• 시간에 유효한 상호작용을 기반으로 실시간 응용 프로그램에 적합한 온라인 및 점진적 학습을 가능하게 하기 위해.
• 정적 스냅샷 근사에서 유발되는 정보 손실과 유효하지 않은 순서의 문제를 방지하기 위해.
• 시간 인식 워크를 통합하여 기존의 랜덤 워크 기반 임베딩 방법을 동적 네트워크에 일반화하기 위해.

제안 방법

• 시간에 유효한 워크—시간 순서를 존중하고 미래에서 과거로의 전이가 없는 엣지의 연속적인 시퀀스—를 도입한다.
• 시간에 유효한 워크를 기반으로 한 일반적인 프레임워크인 Continuous-Time Dynamic Network Embeddings (CTDNE)를 수립하며, 균일한 워크와 편향된 워크 모두를 지원한다.
• 최근 및 빈번한 상호작용을 우선시하는 시간 가중치 및 편향 함수를 통합하여 시간적 관련성을 향상시킨다.
• 노드 특징을 변환 함수 φ를 통해 통합함으로써 특징 기반 워크 샘플링을 가능하게 하여 소속된 시간 워크를 지원한다.
• 스킵그램 모델과의 호환성을 확보하여, 가중치가 부여된 시간 워크를 스킵그램 목적 함수에 활용함으로써 표현 학습을 가능하게 한다.
• 온라인 학습을 자연스럽게 지원하여 새로운 엣지가 실시간으로 도착함에 따라 점진적 업데이트가 가능하다.

실험 결과

연구 질문

• RQ1 시간을 이산적 스냅샷으로 근사하지 않고 엣지 스트림으로부터 직접 동적 노드 임베딩을 학습할 수 있는 방법은 무엇인가?
• RQ2 시간에 유효한 워크를 사용할 경우 학습된 노드 표현의 품질에 어떤 영향을 미치는가?
• RQ3 기존의 랜덤 워크 기반 임베딩 방법을 동적 네트워크에 적용할 수 있는 일반적인 프레임워크를 설계할 수 있는가?
• RQ4 시간 가중치 및 편향 메커니즘이 동적 노드 임베딩의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 실시간 응용 프로그램에서 온라인 스트리밍 학습을 얼마나 잘 지원할 수 있는가?

주요 결과

• CTDNE 프레임워크는 평가된 모든 데이터셋과 방법에서 평균 11.9%의 AUC 향상을 달성한다.
• 시간에 유효한 워크를 사용함으로써 정적 스냅샷 기반 접근 방식에서 성능을 떨어뜨리는 유효하지 않은 순서를 피할 수 있다.
• 프레임워크는 온라인 학습을 지원하여 새로운 엣지가 스트리밍되는 동안 실시간 업데이트가 가능하며, 시간이 중요한 응용 프로그램에 적합하다.
• 시간 가중치 및 편향 메커니즘은 최근 및 빈번한 상호작용을 강조함으로써 표현 품질을 크게 향상시킨다.
• 기존의 임베딩 기법에 잘 일반화되어 있어 최소한의 수정으로 동적 네트워크에 적용할 수 있다.
• 실험을 통해 가장 세밀한 해상도에서 원시 엣지 스트림으로부터 학습하는 것이 스냅샷 기반 근사보다 더 정확하고 시간적으로 일관된 임베딩을 얻을 수 있음을 확인하였다.