[논문 리뷰] DisenHCN: Disentangled Hypergraph Convolutional Networks for Spatiotemporal Activity Prediction

Yinfeng Li, Chen Gao외 4명|arXiv (Cornell University)|2022. 08. 14.

Human Mobility and Location-Based Analysis인용 수 4

한 줄 요약

이 논문은 미세한 사용자 유사성과 복잡한 사용자-활동 매칭을 포착하기 위해 이질적 하이퍼그래프를 구성함으로써 시공간 활동 예측을 모델링하는 분리된 하이퍼그래프 컨볼루션 네트워크인 DisenHCN을 제안한다. 사용자 임베딩을 위치, 시간, 활동 인식 서브스페이스로 분리하고, 효율적인 하이퍼그래프 컨볼루션을 사용하여 고차원 관계를 학습하여 네 개의 실세계 데이터셋에서 최신 기술(SOTA) 방법 대비 14.23%에서 18.10%의 성능 향상을 달성한다.

ABSTRACT

Spatiotemporal activity prediction, aiming to predict user activities at a specific location and time, is crucial for applications like urban planning and mobile advertising. Existing solutions based on tensor decomposition or graph embedding suffer from the following two major limitations: 1) ignoring the fine-grained similarities of user preferences; 2) user's modeling is entangled. In this work, we propose a hypergraph neural network model called DisenHCN to bridge the above gaps. In particular, we first unify the fine-grained user similarity and the complex matching between user preferences and spatiotemporal activity into a heterogeneous hypergraph. We then disentangle the user representations into different aspects (location-aware, time-aware, and activity-aware) and aggregate corresponding aspect's features on the constructed hypergraph, capturing high-order relations from different aspects and disentangles the impact of each aspect for final prediction. Extensive experiments show that our DisenHCN outperforms the state-of-the-art methods by 14.23% to 18.10% on four real-world datasets. Further studies also convincingly verify the rationality of each component in our DisenHCN.

연구 동기 및 목표

• 기존 방법들이 시공간 활동 예측에서 미세한 사용자 유사성과 얽힌 사용자 선호도를 모델링하는 데에 한계를 가짐을 해결한다.
• 텐서 분해 및 그래프 기반 모델이 다중 정도, 다중 유형의 사용자 유사성과 일대다 사용자-활동 상호작용을 포착하지 못하는 문제를 극복한다.
• 사용자 선호도를 위치, 시간, 활동과 같은 별개의 측면으로 분리하여 모델링 정확도와 해석 가능성 향상을 도모한다.
• 사용자, 위치, 시간, 활동 간의 복잡한 고차원 관계를 명시적으로 모델링하는 하이퍼그래프 기반 프레임워크를 개발한다.
• 희소 데이터에서 특히 활동 빈도가 낮은 사용자 영역에서 성능 저하를 최소화하고 우수한 성능과 강건성을 확보한다.

제안 방법

• 다양한 유형의 하이퍼엣지로 구성된 이질적 하이퍼그래프를 구축하여, 미세한 사용자 유사성(예: 동일한 위치, 동일한 활동)과 복잡한 일대다 사용자-시공간 활동 매칭을 인코딩한다.
• 분리된 표현 학습 전략을 사용하여 사용자 임베딩을 위치 인식, 시간 인식, 활동 인식의 세 가지 별개의 서브스페이스로 분리한다.
• 다양한 하이퍼엣지 유형 간의 내부 및 상호 유형 집합을 수행하는 효율적인 하이퍼그래프 컨볼루션 레이어(Eff-HGConv)를 설계하여 특성별 특징을 유지한다.
• 분리된 임베딩 구성 요소 간의 통계적 독립성을 강제하기 위해 정규화 계수 γ를 가진 독립성 모델링 모듈을 도입한다.
• 예측 손실과 분리 정규화를 통합한 공동 손실 함수를 사용하여 모델을 종합적으로 최적화한다.
• 과도한 평탄화를 방지하기 위해 단일 레이어 아키텍처를 활용하며, 깊은 스타킹 없이도 하이퍼그래프가 고차원 관계를 효과적으로 포착할 수 있음을 활용한다.

실험 결과

연구 질문

• RQ1 이질적 하이퍼그래프는 시공간 활동 예측에서 미세한, 다중 유형의 사용자 유사성을 효과적으로 모델링할 수 있는가?
• RQ2 사용자 임베딩을 위치, 시간, 활동 인식 서브스페이스로 분리하는 것이 예측 성능 향상과 모델의 해석 가능성 향상에 기여하는가?
• RQ3 제안된 하이퍼그래프 컨볼루션 메커니즘은 기존 GCN 대비 고차원 의존성을 얼마나 잘 포착하는가?
• RQ4 기존 SOTA 방법 대비 DisenHCN는 데이터 희소성 상황에서 얼마나 효과적으로 성능 저하를 완화하는가?
• RQ5 강건한 성능을 확보하기 위해 분리 정규화 계수 γ와 집합 레이어 수 L의 최적 설정은 무엇인가?

주요 결과

• DisenHCN는 네 개의 실세계 데이터셋에서 최신 기술(SOTA) 방법 대비 14.23%에서 18.10%의 성능 향상을 달성하여 시공간 활동 예측에서의 우수성을 입증한다.
• 모델은 모든 데이터셋에서 안정적이고 뛰어난 성능을 유지하며, Telecom, TalkingData, 4SQ의 최적 γ 값은 3e-3, TWEET의 경우 1e-2로 확인되었다.
• γ 값이 1e-2를 초과할 경우 성능이 심각하게 저하되며, 이는 과도한 정규화가 최적화와 일반화 능력에 악영향을 준다는 것을 시사한다.
• 단일 집합 레이어에서 최고 성능을 기록하여, 하이퍼그래프 구조가 깊은 스타킹 없이도 고차원 관계를 효과적으로 포착한다는 점을 확인한다.
• 희소 사용자 그룹에서 MHCN과 HWNN에 비해 DisenHCN가 뚜렷한 성능 우위를 보이며, 데이터 희소성이 증가할수록 성능 격차가 더욱 벌어진다. 특히 활동 기록 수가 다섯 건 이하인 사용자에서 두드러진다.
• 제거 실험을 통해 하이퍼그래프 구축, 분리 모듈, Eff-HGConv 레이어의 각 구성 요소의 효과성이 확인되었다.