[논문 리뷰] Parameter-free Dynamic Graph Embedding for Link Prediction

Jiahao Liu, Dongsheng Li외 4명|arXiv (Cornell University)|2022. 10. 15.

Advanced Graph Neural Networks인용 수 14

한 줄 요약

FreeGEM는 실시간 효율성과 높은 정확도를 확보하기 위해 동적 그래프 임베딩을 위한 파라미터 없는 동적 그래프 임베딩 방법으로, 실시간 효율성과 높은 정확도를 확보하기 위해 온라인-모니터-오프라인 아키텍처를 사용하여 협업 사용자 관계와 개인화된 상호작용 패턴을 분리한다. 백프로파게이션을 피함으로써 기존 최고 수준의 방법들보다 36배 이상 빠른 속도를 달성하며, 사용자 속성을 통합하여 쿨스타트 및 공정성 성능을 향상시킨다.

ABSTRACT

Dynamic interaction graphs have been widely adopted to model the evolution of user-item interactions over time. There are two crucial factors when modelling user preferences for link prediction in dynamic interaction graphs: 1) collaborative relationship among users and 2) user personalized interaction patterns. Existing methods often implicitly consider these two factors together, which may lead to noisy user modelling when the two factors diverge. In addition, they usually require time-consuming parameter learning with back-propagation, which is prohibitive for real-time user preference modelling. To this end, this paper proposes FreeGEM, a parameter-free dynamic graph embedding method for link prediction. Firstly, to take advantage of the collaborative relationships, we propose an incremental graph embedding engine to obtain user/item embeddings, which is an Online-Monitor-Offline architecture consisting of an Online module to approximately embed users/items over time, a Monitor module to estimate the approximation error in real time and an Offline module to calibrate the user/item embeddings when the online approximation errors exceed a threshold. Meanwhile, we integrate attribute information into the model, which enables FreeGEM to better model users belonging to some under represented groups. Secondly, we design a personalized dynamic interaction pattern modeller, which combines dynamic time decay with attention mechanism to model user short-term interests. Experimental results on two link prediction tasks show that FreeGEM can outperform the state-of-the-art methods in accuracy while achieving over 36X improvement in efficiency. All code and datasets can be found in https://github.com/FudanCISL/FreeGEM.

연구 동기 및 목표

• 협업 관계와 개인화된 상호작용 패턴이 분리될 수 있는 동적 상호작용 그래프에서 노이즈가 많은 사용자 모델링 문제를 해결하기 위해.
• 동적 링크 예측에서 시간이 오래 소요되는 백프로파게이션을 제거하기 위해 파라미터 없는 프레임워크를 도입하기 위해.
• 속성 통합된 임베딩 학습을 통해 부족하게 표현되는 사용자 집단의 쿨스타트 및 공정성 성능을 향상시키기 위해.
• 최소한의 계산 오버헤드로 실시간으로 확장 가능한 링크 예측을 가능하게 하기 위해.
• 동적 그래프 환경에서 정확도를 높이기 위해 협업 필터링과 개인화된 관심 모델링을 분리하기 위해.

제안 방법

• FreeGEM은 온라인-모니터-오프라인 아키텍처를 사용한다: 온라인 모듈은 폐쇄형 온라인 SVD를 통해 실시간 임베딩 업데이트를 수행한다; 모니터 모듈은 실시간으로 근사 오차를 추정한다; 오프라인 모듈은 오차가 임계값을 초과할 경우 임베딩을 재교정한다.
• 오프라인 모듈은 빈도 인식 기반 선호도 행렬 재구성과 속성 통합 SVD를 사용하여 과도한 스무딩을 완화하고 쿨스타트 효과를 감소시킨다.
• 개인화된 동적 상호작용 패턴 모델러는 동적 시간 감쇠와 어텐션 메커니즘을 조합하여 최근 상호작용을 우선시하고 사용자 고유의 단기 관심을 포착한다.
• 동적 시간 감쇠는 초기 상호작용을 선택적으로 무시하여 모델이 최근 사용자 행동에 집중하도록 한다.
• 어텐션 메커니즘은 '감쇠된' 아이템 임베딩 시퀀스에 작용하여 개인 사용자의 상호작용 패턴을 모델링한다.
• 모든 구성 요소는 파라미터가 없으며, 백프로파게이션을 피함으로써 높은 계산 효율성을 달성한다.

실험 결과

연구 질문

• RQ1 협업 관계와 개인화된 상호작용 패턴을 분리함으로써 동적 그래프에서 링크 예측 정확도를 향상시킬 수 있는가?
• RQ2 파라미터 없는 접근 방식이 정확도를 손상시키지 않고 동적 링크 예측에서 높은 효율성을 달성할 수 있는가?
• RQ3 SVD에 속성 통합이 이루어지면 쿨스타트 및 부족하게 표현되는 사용자 집단의 성능 향상이 가능한가?
• RQ4 온라인-모니터-오프라인 아키텍처는 실시간 업데이트를 가능하게 하면서도 정확도를 유지하는가?
• RQ5 이 방법은 성별 집단 간 추천 성능의 편향을 어느 정도 감소시키는가?

주요 결과

• FreeGEM는 JODIE 및 CoPE와 같은 최고 수준의 기존 방법들에 비해 계산 효율성에서 36배 이상 향상되었으며, 상호작용 데이터량이 증가함에 따라 실행 시간이 다소 증가할 뿐이다.
• 미래 아이템 추천 작업에서 FreeGEM는 정확도 면에서 SOTA 방법들을 능가하며, 속성 통합 시 냉시작 사용자에 대해 Recall@10이 166% 상승하는 것으로 나타났다.
• 이전 Recall@10이 0이었던 7명의 냉시작 사용자에 대해 FreeGEM는 평균 Recall@10을 0.100으로 끌어올려 강력한 냉시작 성능을 입증했다.
• FreeGEM는 데이터 희소성에 매우 강건하다: 훈련 세트 비율이 10%에서 80%로 변할 때에도 성능이 안정적으로 유지된다.
• 사용자 속성을 통합한 후 ML-100K에서 남성과 여성 사용자 간의 리콜 격차는 45.9%에서 22.8%로 감소하여 추천의 성별 편향이 감소한 것으로 나타났다.
• 속성 통합 SVD는 ML-100K에서 여성 사용자와 같이 표현이 부족한 집단에 대해 임베딩 품질을 크게 향상시켜 공정성 및 모델의 공정성 향상을 이룬다.