[논문 리뷰] Inductive Representation Learning in Temporal Networks via Causal Anonymous Walks

Yanbang Wang, Yen‐Yu Chang외 3명|arXiv (Cornell University)|2021. 01. 15.

Advanced Graph Neural Networks참고 문헌 70인용 수 55

한 줄 요약

CAW-N은 Causal Anonymous Walks를 이용해 시간적 모티프를 포착하고, 상대 위치로 노드의 신원을 익명화하며, 워크를 신경망으로 인코딩하여 시계열 네트워크의 귀납적 표현을 학습한다. 정확한 귀납적 링크 예측을 위해.

ABSTRACT

Temporal networks serve as abstractions of many real-world dynamic systems. These networks typically evolve according to certain laws, such as the law of triadic closure, which is universal in social networks. Inductive representation learning of temporal networks should be able to capture such laws and further be applied to systems that follow the same laws but have not been unseen during the training stage. Previous works in this area depend on either network node identities or rich edge attributes and typically fail to extract these laws. Here, we propose Causal Anonymous Walks (CAWs) to inductively represent a temporal network. CAWs are extracted by temporal random walks and work as automatic retrieval of temporal network motifs to represent network dynamics while avoiding the time-consuming selection and counting of those motifs. CAWs adopt a novel anonymization strategy that replaces node identities with the hitting counts of the nodes based on a set of sampled walks to keep the method inductive, and simultaneously establish the correlation between motifs. We further propose a neural-network model CAW-N to encode CAWs, and pair it with a CAW sampling strategy with constant memory and time cost to support online training and inference. CAW-N is evaluated to predict links over 6 real temporal networks and uniformly outperforms previous SOTA methods by averaged 10% AUC gain in the inductive setting. CAW-N also outperforms previous methods in 4 out of the 6 networks in the transductive setting.

연구 동기 및 목표

• 시계열 네트워크의 표현을 학습하여 보이지 않는 노드와 모티프에 대해 귀납적으로 일반화하는 것을 동기화한다.
• 노드 아이덴티티에 의존하지 않고 인과 모티프를 통해 시계열 네트워크의 법칙(예: 삼중 폐쇄, 피드포워드 루프)을 포착한다.
• 인과성 추출과 집합 기반 익명화로 CAW를 개발하여 귀납 학습을 가능하게 한다.
• 온라인 사용을 위한 상수 메모리 샘플링으로 CAWs를 인코딩하고 시계열 링크를 예측하기 위한 CAW-N을 제안한다.
• 귀납 및 전이 설정에서 여섯 개의 실제 시계열 네트워크에서 최신 성능을 시연한다.

제안 방법

• 시간적 링크를 따라 역추적하여 인과적 시계열 모티프를 인코딩하는 Causal Anonymous Walks(CAWs)를 도입한다.
• 여러 워크에 걸쳐 각 위치에서 노드 출현을 세어 I_CAW(w;{S_u,S_v})를 생성하는 집합 기반 익명화를 적용하여 모티프 상관관계를 보존하면서 신원을 제거한다.
• CAW-N으로 CAWs를 인코딩: 익명화된 각 워크를 RNN으로 f1(I_CAW)와 시간 인코딩 f2(t_{i-1}-t_i)를 사용해 인코딩하고, 평균 풀링 또는 셀프 어텐션으로 집계한다.
• 시간 차이를 표현하기 위해 무작위 푸리에 특징(Random Fourier Features)을 이용한 시간 특징 인코딩을 사용한다.
• 링크 예측을 위한 이진 교차 엔트로피 손실로 CAW-N을 훈련하여 상수 메모리(CAW 샘플링 전략)로 온라인 학습을 가능하게 한다 (O(tau/alpha)).
• 확장으로 속성 및 방향성 링크를 X_i로 인코딩에 보강하고, α 기반 시간적 감소를 사용하는 효율적인 CAW 샘플링을 적용한다.

실험 결과

연구 질문

• RQ1 노드 아이덴티티에 의존하지 않고 시간적 모티프 상관관계를 포착하여 시계열 네트워크의 귀납적 표현을 학습할 수 있는가?
• RQ2 CAW와 CAW-N 인코더가 보이지 않는 노드와 새로운 링크에 일반화되면서 시간적 동역학을 보존하는가?
• RQ3 여러 실제 시계열 네트워크에서 CAW-N이 최첨단 벤치마크와 비교하여 귀납적 및 전이적 링크 예측에서 어떻게 성능을 보이는가?
• RQ4 CAW 샘플링 매개변수(M, m, alpha)가 예측 성능 및 온라인 확장성에 미치는 영향은 무엇인가?
• RQ5 속성 및 방향성 간선이 CAW-N 모델의 효과성에 미치는 영향은 무엇인가?

주요 결과

• CAW-N-mean 및 CAW-N-attn은 강력한 귀납적 링크 예측 성능을 달성하여, 귀납 설정에서 여섯 개의 실제 시계열 네트워크에서 기준선보다 우수하다.
• 귀납 작업에서 특히 신규 대 신규 링크의 경우 CAW-N이 모든 데이터셋에서 모든 벤치마크를 크게 능가한다.
• 전이 설정에서도 CAW-N은 여섯 개 데이터셋 중 네 개에서 대부분의 벤치마크를 상회하고, 나머지에서도 최상위에 근접하거나 동등하다.
• 익명화 I_CAW(w;{S_u,S_v})는 노드 신원을 제거하면서 모티프 상관관계를 효과적으로 보존하여 견고한 귀납 일반화를 가능하게 한다.
• 적절한 alpha 값의 소수의 CAW만으로도 경쟁력 있는 성능이 가능하며, 이 접근법은 상수 메모리의 온라인 학습을 지원한다.