[논문 리뷰] EPNE: Evolutionary Pattern Preserving Network Embedding

Junshan Wang, Yilun Jin외 2명|arXiv (Cornell University)|2020. 09. 24.

Complex Network Analysis Techniques참고 문헌 28인용 수 6

한 줄 요약

EPNE는 인과 컨volution을 사용하여 시간-주파수 도메인에서 노드 국소 구조를 모델링함으로써 정적 네트워크 구조와 진동 패턴(정기적 및 비정기적)을 모두 유지하는 시계열 네트워크 임베딩 모델이다. 구조적 및 시계열 목표를 공동 최적화하여 AMiner 및 DBLP와 같은 실세계 네트워크에서 노드 및 엣지 분류 작업에서 최신 기술을 능가한다.

ABSTRACT

Information networks are ubiquitous and are ideal for modeling relational data. Networks being sparse and irregular, network embedding algorithms have caught the attention of many researchers, who came up with numerous embeddings algorithms in static networks. Yet in real life, networks constantly evolve over time. Hence, evolutionary patterns, namely how nodes develop itself over time, would serve as a powerful complement to static structures in embedding networks, on which relatively few works focus. In this paper, we propose EPNE, a temporal network embedding model preserving evolutionary patterns of the local structure of nodes. In particular, we analyze evolutionary patterns with and without periodicity and design strategies correspondingly to model such patterns in time-frequency domains based on causal convolutions. In addition, we propose a temporal objective function which is optimized simultaneously with proximity ones such that both temporal and structural information are preserved. With the adequate modeling of temporal information, our model is able to outperform other competitive methods in various prediction tasks.

연구 동기 및 목표

• 정적 구조적 유사성 이상의 복잡한 진동하는 노드 행동을 동적 네트워크에서 모델링하는 데 있어 격차를 보완하기 위해.
• 시간에 따라 노드 국소 구조에서 정기적 및 비정기적 진동 패턴을 모두 포착하기 위해.
• 통합된 임베딩 공간에서 구조적 유사성과 시계열 진동 패턴을 공동 최적화하기 위해.
• 네트워크 표현 학습에 시계열 역학을 통합하여 노드 및 엣지 분류 성능을 향상시키기 위해.

제안 방법

• 모델은 인과 컨volution 네트워크를 통한 시간-주파수 분석을 사용하여 노드 진동 패턴을 정기적 및 비정기적 구성요소로 분해한다.
• 노드 국소 구조의 시간-주파수 표현을 학습하여 복합 주기성과 단조적 추세를 포함한 다중 척도 시계열 역학을 포착한다.
• 학습된 진동 패턴을 임베딩 공간에 유지하기 위해 시계열 목표 함수를 도입하였으며, 기존의 표준 유사성 목표와 공동 최적화한다.
• 대부분의 시간 단계에서 표현을 정렬하기 위해 부드러움 항목을 사용하여 시간적 일관성을 확보한다.
• 시간적 맥락 창을 제어하기 위해 이력 길이 하이퍼파rameter를 통합하였으며, AMiner에서 최적 성능은 h=12 시간 단계(48년)에서 관찰되었다.
• 구조적 및 시계열 목표의 가중 조합을 사용하였으며, 최적 균형은 α≈1에서 도출되었다.

실험 결과

연구 질문

• RQ1 복잡한 시계열 네트워크 임베딩에서 정기적 및 비정기적 진동 패턴을 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 구조적 및 시계열 목표를 공동 최적화하는 것이 별도 학습보다 표현 품질을 향상시킬 수 있는가?
• RQ3 다양한 시계열 특성 유형(정기적 대비 비정기적)이 하류 예측 작업에 미치는 영향은 무엇인가?
• RQ4 이력 길이, 시계열 가중치, 스케일 수와 같은 하이퍼파rameter는 모델 성능에 어떤 영향을 미치는가?
• RQ5 EPNE는 정적 및 기존의 동적 네트워크 임베딩 모델보다 더 나은 클러스터링 및 분류 성능을 달성할 수 있는가?

주요 결과

• EPNE는 AMiner에서 엣지 분류 작업에서 DeepWalk, DynamicTriad 및 HTNE를 능가하며, 완전한 모델(EPNE)이 가장 높은 성능을 기록했다.
• 제거 실험 결과, 정기적 및 비정기적 시계열 특성을 모두 통합할 경우 단독 사용보다 더 우수한 성능을 기록하였으며, EPNE-f(정기적 특성 전용)는 EPNE-t(비정기적 특성 전용)보다 더 뛰어난 성능을 보였다.
• 부드러움 항목은 성능 향상에 크게 기여하였으며, EPNE-no-smooth(β=0)는 정확도가 뚜렷이 감소하여 시간적 정렬 기능의 중요성을 확인했다.
• 최적 성능은 이력 길이 h=12 시간 단계(48년)에서 달성되었으며, 이후 오래된 정보로 인해 성능이 저하되었다.
• 중간 정도의 시계열 가중치 α≈1에서 구조적 및 시계열 목표 간 최적 균형이 확보되었으며, 극단적인 값(너무 작거나 너무 큼)은 성능 저하를 유발했다.
• 스케일 수 L을 증가시킬수록 성능 향상이 있었으며, 더 높은 L 값은 다중 척도 시계열 패턴의 표현을 향상시켰다.