[논문 리뷰] A Survey on Temporal Graph Representation Learning and Generative Modeling

Shubham Gupta, Srikanta Bedathur|arXiv (Cornell University)|2022. 08. 25.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 종합 검토는 시간적 그래프 표현 학습과 생성 모델링을 통합하며, 기존 방법의 낮은 확장성, 인도적 편향 부족, 높은 간선 중복성 등의 핵심 한계를 밝혀낸다. Tigger는 단일 그래프 샘플에서 구조적 및 시간적 분포를 함께 학습하는 확장성 있고 인도적인 생성 모델로, 원본 간선을 기억하지 않고도 현실적이고 다양한 그래프 생성이 가능하다.

ABSTRACT

Temporal graphs represent the dynamic relationships among entities and occur in many real life application like social networks, e commerce, communication, road networks, biological systems, and many more. They necessitate research beyond the work related to static graphs in terms of their generative modeling and representation learning. In this survey, we comprehensively review the neural time dependent graph representation learning and generative modeling approaches proposed in recent times for handling temporal graphs. Finally, we identify the weaknesses of existing approaches and discuss the research proposal of our recently published paper TIGGER[24].

연구 동기 및 목표

• 정적 그래프 임bedding과 동적 그래프 생성 간 격차를 메우며 시간적 그래프 표현 학습과 생성 모델링의 통합적 개요를 제공한다.
• 현재 시간적 그래프 생성 모델의 핵심 단점, 즉 낮은 확장성, 비인도적 설계, 원본 그래프와의 높은 간선 중복성을 규명한다.
• 입력 그래프를 암기하는 것 외에도 일반화할 수 있는 대규모 시간적 상호작용 그래프에 대한 확장성 있고 인도적인 생성 모델링의 필요성을 정당화한다.
• Tigger의 문제 정의를 제시하며, 단일 시간적 그래프에서 구조적 및 시간적 특성의 잠재 연합 분포를 학습하는 새로운 접근법을 제시한다.

제안 방법

• 단일 입력 시간적 상호작용 그래프에서 구조적 및 시간적 특성의 은닉 연합 분포를 학습하는 생성 모델의 문제 정의를 제안한다.
• 일대일 노드 ID 매핑을 피하는 확장성 있고 인도적인 생성 모델인 Tigger를 도입하여 다른 크기의 그래프 생성이 가능하게 한다.
• 잠재 공간 모델링 기법을 활용해 상호작용 간 시간 분포 및 차수 분포, 연결 성분과 같은 변화하는 그래프 특성의 분포를 포착한다.
• 정적 그래프로의 변환에 의존하지 않는 미분 가능하고 암시적 추론 메커니즘을 사용해 시간 역학을 모델링하며, 이로 인해 이차적 메모리 비용을 피한다.
• 단일 그래프 인스턴스에서 훈련하는 일괄 학습 파рад림을 활용해, 미리 보지 않은 그래프 크기와 시간 범위로의 일반화를 가능하게 한다.
• 변분 추론 프레임워크를 활용해 입력 그래프의 가능도를 최대화하면서도 생성된 그래프가 서로 다채롭고 다형성을 가지도록 보장한다.

실험 결과

연구 질문

• RQ1 고도로 상호작용하는 대규모 그래프와 긴 시간 범위에 대해 시간적 그래프 생성 모델을 어떻게 확장성 있게 만들 수 있는가?
• RQ2 고정된 노드 ID 매핑에 의존하지 않고 시간적 그래프 생성에서 인도적 일반화를 가능하게 하는 설계 원칙은 무엇인가?
• RQ3 원본 그래프의 간선을 암기하지 않고도 구조적 및 시간적 특성의 연합 분포를 어떻게 학습할 수 있는가?
• RQ4 TagGen과 DYMOND와 같은 기존 모델의 확장성, 다양성, 인도적 편향 측면에서의 핵심 한계는 무엇인가?
• RQ5 단일 그래프 기반의 일괄 학습 생성 모델이 시간적 상호작용 그래프의 잠재 역학을 효과적으로 포착할 수 있는가?

주요 결과

• TagGen과 DYMOND와 같은 기존 시간적 그래프 생성 모델은 그래프 노드 수가 10,000개 미만이고 타임스탬프 수가 200개 이하일 경우에만 적용 가능해 낮은 확장성 문제를 겪는다.
• TagGen은 원본 그래프와 생성된 그래프 간 최대 80%의 간선 중복도를 보이며, 명시적 간선 복사로 인해 일반화 능력이 떨어지고 암기 현상이 발생함을 시사한다.
• DYMOND의 계산 복잡도는 O(N³T)로, 높은 노드 수나 긴 시간 범위를 가진 대규모 그래프에 대해서는 실현 불가능하다.
• TagGen과 DYMOND 모두 비인도적 설계를 취하고 있으며, 일대일 노드 ID 매핑에 의존함으로써 다른 크기의 그래프로의 일반화를 방해한다.
• 이 종합 검토는 확장성 있고 인도적인 시간적 그래프 생성 모델링 분야에 중요한 연구 격차를 규명하며, 이를 해결하기 위해 Tigger 개발의 필요성을 제기한다.
• Tigger는 간선 암기 없이 단일 입력 그래프에서부터 다양한 시간적 그래프를 인도적이고 확장성 있게 생성함으로써 이러한 한계를 해결한다.