[논문 리뷰] DynWalks: Global Topology and Recent Changes Awareness Dynamic Network Embedding

Chengbin Hou, Han Zhang외 2명|arXiv (Cornell University)|2019. 07. 27.

Advanced Graph Neural Networks참고 문헌 19인용 수 4

한 줄 요약

DynWalks는 적응형 노드 선택 기반 및 효율적인 온라인 학습 프레임워크를 통해 전반적인 구조 보존과 최근 구조적 변화 사이의 균형을 이루는 온라인 동적 네트워크 임bedding 방법을 제안한다. 기존 방법들과 비교해 벽시계 시간을 크게 단축시키면서도 그래프 복원 및 링크 예측 작업에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Learning topological representation of a network in dynamic environments has recently attracted considerable attention due to the time-evolving nature of many real-world networks i.e. nodes/links might be added/removed as time goes on. Dynamic network embedding aims to learn low dimensional embeddings for unseen and seen nodes by using any currently available snapshots of a dynamic network. For seen nodes, the existing methods either treat them equally important or focus on the $k$ most affected nodes at each time step. However, the former solution is time-consuming, and the later solution that relies on incoming changes may lose the global topology---an important feature for downstream tasks. To address these challenges, we propose a dynamic network embedding method called DynWalks, which includes two key components: 1) An online network embedding framework that can dynamically and efficiently learn embeddings based on the selected nodes; 2) A novel online node selecting scheme that offers the flexible choices to balance global topology and recent changes, as well as to fulfill the real-time constraint if needed. The empirical studies on six real-world dynamic networks under three different slicing ways show that DynWalks significantly outperforms the state-of-the-art methods in graph reconstruction tasks, and obtains comparable results in link prediction tasks. Furthermore, the wall-clock time and complexity analysis demonstrate its excellent time and space efficiency. The source code of DynWalks is available at https://github.com/houchengbin/DynWalks

연구 동기 및 목표

• 기존 동적 네트워크 임베딩 방법에서 높은 계산 복잡도와 낮은 전반적 구조 보존 성능 문제를 해결하기 위해.
• 엄격한 시간 제약 조건 하에서 대규모 동적 네트워크에 대해 실시간 학습을 가능하게 하기 위해.
• 전반적 네트워크 구조와 국소적 변화 사이의 주의 분포를 균형 잡는 유연한 노드 선택 전략을 개발하기 위해.
• 전체 재학습 없이도 변화하는 스냅샷 간에도 임베딩 품질을 유지하기 위해.
• 실세계 동적 네트워크에서의 온라인 배포를 위한 높은 효율성과 확장성 확보하기 위해.

제안 방법

• DynWalks는 수정된 DeepWalk 기반의 온라인 네트워크 임베딩 프레임워크를 사용하며, 각 시간 단계에서 선택된 노드들만을 이용해 임베딩을 점진적으로 업데이트한다.
• 전반적 구조 보존에 미치는 영향과 최근 변화에 대한 영향을 기반으로 노드 우선순위를 정하는 새로운 노드 선택 기법을 도입하였으며, 이는 하이퍼파라미터 α와 β로 제어된다.
• 현재 단계(t)의 초기화로 이전 단계(t−1)의 임베딩을 사용함으로써 수렴성과 안정성을 향상시킨다.
• 프레임워크는 구조 민감도와 변화 영향도를 기반으로, 일반적으로 네트워크의 비율 α에 해당하는 일부 노드를 동적으로 선택한다.
• β를 통한 전반적 구조 인식과 α를 통한 최근 변화에 대한 민감도를 균형 잡아 정확도와 속도 사이의 트레이드오프를 가능하게 한다.
• 전체 재학습을 피하기 위해 영향을 받는 노드들에만 집중하고 점진적 최적화를 활용한다.

실험 결과

연구 질문

• RQ1 대규모 변화하는 네트워크에서 실시간 제약 조건을 충족시키기 위해 동적 네트워크 임베딩을 얼마나 효율적으로 만들 수 있는가?
• RQ2 국소적 변화에 대응하면서도 네트워크의 전반적 구조 보존 정도는 어느 정도 유지될 수 있는가?
• RQ3 전체 네트워크 재학습 대비 선택적 노드 업데이트 전략이 정확도와 효율성 측면에서 뛰어나게 될 수 있는가?
• RQ4 전반적 구조 인식과 최근 변화에 대한 민감도 사이의 균형이 하류 작업 성능에 어떤 영향을 미치는가?
• RQ5 이전 임베딩(t−1)을 초기화로 사용할 경우 수렴 속도와 안정성에 어떤 영향을 미치는가?

주요 결과

• 6개의 실제 동적 네트워크에서 세 가지 슬라이싱 전략 하에 DynWalks가 그래프 복원 작업에서 최신 기술(SOTA) 방법들을 크게 앞서며 성능을 뛰어나게 한다.
• 링크 예측 작업에서도 SOTA 수준의 성능을 달성하며, 네트워크가 시간이 지남에 따라 점진적으로 향상되는 경향을 보인다.
• BCGD 및 DynGEM과 비교해 벽시계 시간을 최대 90%까지 감소시키며, 대규모 네트워크에서 온라인 단계 시간이 단 4초 미만으로 내려간다.
• 민감도 분석 결과, α가 0.6를 초과할 경우 성능이 포화 상태에 이르거나 약간 감소함을 확인하여 노드 선택의 최적 균형점이 존재함을 시사한다.
• t−1 임베딩을 초기화로 사용함으로써, 특히 그래프 복원 작업에서 안정적인 성능 유지에 기여한다.
• 100개의 시간 단계가 넘는 동안에도 성능 저하가 최소화되고 강력한 시간 효율성을 유지하며 확장성과 효율성을 유지한다.