[논문 리뷰] Learning Graph ODE for Continuous-Time Sequential Recommendation

Yifang Qin, Lili Ju외 3명|arXiv (Cornell University)|2023. 04. 14.

Recommender Systems and Techniques참고 문헌 63인용 수 5

한 줄 요약

이 논문은 연속 시간 순차 추천을 위해 일반 미분방정식(OEDs) 기반의 하이브리드 동역계를 사용하는 그래프 신경망 프레임워크 GDERec을 제안한다. 자동회귀 ODE 기반 엣지 진화 모듈과 시간 주의 메커니즘 기반 집합 모듈을 활용하여 동적인 사용자 선호도와 비균일하게 샘플링된 상호작용을 포착하며, 다섯 개인 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Sequential recommendation aims at understanding user preference by capturing successive behavior correlations, which are usually represented as the item purchasing sequences based on their past interactions. Existing efforts generally predict the next item via modeling the sequential patterns. Despite effectiveness, there exist two natural deficiencies: (i) user preference is dynamic in nature, and the evolution of collaborative signals is often ignored; and (ii) the observed interactions are often irregularly-sampled, while existing methods model item transitions assuming uniform intervals. Thus, how to effectively model and predict the underlying dynamics for user preference becomes a critical research problem. To tackle the above challenges, in this paper, we focus on continuous-time sequential recommendation and propose a principled graph ordinary differential equation framework named GDERec. Technically, GDERec is characterized by an autoregressive graph ordinary differential equation consisting of two components, which are parameterized by two tailored graph neural networks (GNNs) respectively to capture user preference from the perspective of hybrid dynamical systems. The two customized GNNs are trained alternately in an autoregressive manner to track the evolution of the underlying system from irregular observations, and thus learn effective representations of users and items beneficial to the sequential recommendation. Extensive experiments on five benchmark datasets demonstrate the superiority of our model over various state-of-the-art recommendation methods.

연구 동기 및 목표

• 기존 순차 추천 방법이 시간에 따라 변화하는 사용자 선호도의 동적 진화를 모델링하는 데에 한계가 있음을 해결한다.
• 상호작용이 균일하게 샘플링되지 않는다는 가정을 넘어 비균일하게 샘플링된 사용자-아이템 상호작용 시계열을 모델링한다.
• 연속 시간 환경에서 암시적 시간 동적 특성과 명시적 공동 협업 신호를 모두 포괄하는 통합 프레임워크를 개발한다.
• 신경 ODE와 그래프 네트워크를 활용해 부분적이고 비균일한 관찰 조건에서도 사용자 및 아이템에 대한 효과적인 표현 학습을 가능하게 한다.

제안 방법

• 자동회귀 ODE 기반 엣지 진화 모듈을 통해 사용자-아이템 상호작용 그래프의 연속 시간 진화를 모델링하는 그래프 ODE 프레임워크인 GDERec을 제안한다.
• 상호작용 그래프 내에서 협업 신호의 시간적 진화를 암묵적으로 모델링하기 위해 신경 ODE 기반 GNN을 도입한다.
• 그래프 전파 과정에서 시간 인식 협업 신호를 명시적으로 통합하기 위해 시간 주의 기반 GNN을 설계한다.
• 비균일 관측에서 시스템 진화를 추적하기 위해 두 GNN 구성 요소를 자동회귀 방식으로 번갈아가며 훈련한다.
• 주요 기능에 시간 인코딩을 통합하여 세밀한 시간 동적 특성과 부드러운 선호도 변화를 포착한다.
• 실제 비균일 샘플링을 모델링하기 위해 연속 ODE 기반 진화와 이산적 상호작용 이벤트를 결합한 하이브리드 동역계를 정의한다.

실험 결과

연구 질문

• RQ1 비균일하게 샘플링된 경우에도 연속 시간에서 사용자 선호도의 동적 진화를 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 그래프 ODE 기반 프레임워크는 순차 추천에서 장기적인 순차적 의존성과 협업 신호를 어느 정도 잘 포착할 수 있는가?
• RQ3 자동회귀 ODE-GNN 아키텍처는 비균일 상호작용 시계열을 처리하는 데서 정적 또는 균일 샘플링 모델보다 우월한 성능을 낼 수 있는가?
• RQ4 시간 주의 메커니즘과 ODE 기반 엣지 진화 모듈이 순차 추천에서 표현 학습을 어떻게 함께 향상시키는가?

주요 결과

• GDERec는 다섯 개의 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 기존 최신 기술 방법을 능가한다.
• 시각화를 통해 사용자 및 아이템 표현이 시간에 따라 유연하게 변화하는 것을 확인하여, 사용자 선호도의 유연한 이동을 효과적으로 포착함을 입증한다.
• 시간 주의 메커니즘이 과거 상호작용에 대해 시간적 관련성에 따라 동적 가중치를 할당함으로써 선호도 변화에 민감하게 반응함을 보였다.
• ODE 기반 엣지 진화 모듈은 비균일 샘플링 조건에서도 협업 신호의 연속적 진화를 성공적으로 모델링하였다.
• t-SNE 시각화 결과, 아이템 표현이 시간 주기 동안 의미 있는 군집을 형성하며 사용자 관심의 변화를 반영함을 확인하였다.
• 사례 연구를 통해 GDERec는 실생활 행동 패tern과 일치하는 바, 사용자 취향 변화(예: 코미디에서 호러 영화로의 전환)를 시간에 따라 효과적으로 모델링할 수 있음을 확인하였다.