[논문 리뷰] RetaGNN: Relational Temporal Attentive Graph Neural Networks for Holistic Sequential Recommendation

Cheng Hsu, Cheng–Te Li|arXiv (Cornell University)|2021. 01. 29.

Recommender Systems and Techniques참고 문헌 41인용 수 9

한 줄 요약

RetaGNN는 지역 사용자-아이템 부분 그래프에서 관계적 주의 메커니즘을 활용한 관계적 주의 GNN과 순차적 자기주의 메커니즘을 통해 기존, 인덕티브, 이식 가능한 설정을 통합하는 새로운 그래프 신경망 모델이다. 이는 장기적이고 단기적 사용자 선호도를 모델링하며, MovieLens, Instagram, Book-Crossing 데이터셋에서 최신 기술을 초월하는 성능을 달성한다. 학습된 주의 가중치를 통해 일반화 능력과 설명 가능성을 향상시킨다.

ABSTRACT

Sequential recommendation (SR) is to accurately recommend a list of items for a user based on her current accessed ones. While new-coming users continuously arrive in the real world, one crucial task is to have inductive SR that can produce embeddings of users and items without re-training. Given user-item interactions can be extremely sparse, another critical task is to have transferable SR that can transfer the knowledge derived from one domain with rich data to another domain. In this work, we aim to present the holistic SR that simultaneously accommodates conventional, inductive, and transferable settings. We propose a novel deep learning-based model, Relational Temporal Attentive Graph Neural Networks (RetaGNN), for holistic SR. The main idea of RetaGNN is three-fold. First, to have inductive and transferable capabilities, we train a relational attentive GNN on the local subgraph extracted from a user-item pair, in which the learnable weight matrices are on various relations among users, items, and attributes, rather than nodes or edges. Second, long-term and short-term temporal patterns of user preferences are encoded by a proposed sequential self-attention mechanism. Third, a relation-aware regularization term is devised for better training of RetaGNN. Experiments conducted on MovieLens, Instagram, and Book-Crossing datasets exhibit that RetaGNN can outperform state-of-the-art methods under conventional, inductive, and transferable settings. The derived attention weights also bring model explainability.

연구 동기 및 목표

• 기존, 인덕티브, 이식 가능한 순차적 추천을 동시에 지원하는 통합 모델의 부족을 해결하기 위해.
• 목표 사용자-아이템 쌍을 중심으로 하는 지역 부분 그래프에서 학습함으로써 재학습 없이도 인덕티브 순차적 추천을 가능하게 하기 위해.
• 새로운 순차적 자기주의 메커니즘을 통해 장기적 및 단기적 시간적 패턴을 모두 모델링하기 위해.
• 관계 인식 정규화(RAR) 항목을 손실 함수에 통합하여 학습 안정성과 일반화 능력을 향상시키기 위해.
• 해석 가능한 주의 가중치를 통해 추천 결정의 설명 가능성을 향상시키기 위해.

제안 방법

• RetaGNN는 타겟 사용자-아이템 쌍을 중심으로 지역 봉화 부분 그래프를 구축하여 사용자, 아이템, 속성 간의 관계를 포괄한다.
• 노드나 에지 전용 파rameter가 아닌, 다수의 관계(사용자-아이템, 사용자-속성, 아이템-속성)에 대해 관계별 가중치 행렬을 학습하는 관계적 주의 GNN(RA-GNN) 레이어를 적용한다.
• 최근 상호작용 시퀀스를 주시함으로써 시간 패턴을 모델링하는 순차적 자기주의 메커니즘이 단기적 및 장기적 선호도 역학을 포착한다.
• 모델은 손실 함수에 관계 인식 정규화(RAR) 항목을 통합하여, 미리 보지 않은 노드와 도메인에서도 학습 안정성과 일반화 능력을 향상시킨다.
• 전체 노드 임베딩에 의존하지 않고 지역 부분 그래프의 구조에만 의존함으로써 인덕티브 아키텍처를 설계한다.
• 호프 수, 부분세션 길이, RA-GNN 레이어 수와 같은 하이퍼파라미터를 조정하여 노이즈와 표현 능력의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 단일 순차적 추천 모델이 동시에 기존, 인덕티브, 이식 가능한 설정을 효과적으로 지원할 수 있는가?
• RQ2 관계적 주의 GNN을 통해 고차원 사용자-아이템 상호작용을 모델링함으로써 순차적 추천 성능이 어떻게 향상되는가?
• RQ3 순차적 자기주의 메커니즘이 다양한 도메인에서 다양한 시간적 사용자 행동 패턴을 어느 정도 효과적으로 포착하는가?
• RQ4 관계 인식 정규화 항목이 인덕티브 및 이식 학습 설정에서 모델의 일반화 능력과 강건성을 어떻게 향상시키는가?
• RQ5 RetaGNN가 학습한 주의 가중치는 추천 결정에 대한 의미 있는 해석 가능성을 제공할 수 있는가?

주요 결과

• RetaGNN는 MovieLens, Instagram, Book-Crossing 데이터셋에서 모든 세 가지 설정(기존, 인덕티브, 이식 가능)에서 최신 기술을 초월하는 성능을 달성한다.
• 모델은 (h, τ) = (2, 4) 설정에서 최고 성능을 기록하며, 여기서 h는 호프 수, τ는 단기 부분세션 길이이다. 이는 성능에 최적의 부분그래프 크기를 의미한다.
• 장기 및 단기 RA-GNN 레이어에 대해 (L_lo, L_sh) = (2, 3)을 사용할 경우 최고의 성능을 기록하여, 중간 정도의 깊이가 표현력과 노이즈 민감도 사이의 균형을 잘 맞춘다는 것을 시사한다.
• 관계 인식 정규화 항목의 λ 값이 0.6일 때 최고 성능을 기록하여, 중간 정도의 정규화가 일반화 능력을 향상시키면서도 유연성을 유지하는 데 유리하다는 것을 시사한다.
• 순차적 자기주의 메커니즘이 도메인 특화 행동 패턴을 효과적으로 포착한다. 예를 들어, MovieLens에서는 안정적인 선호도가, Instagram에서는 급격한 패턴이 관찰된다.
• RetaGNN가 학습한 주의 가중치는 모델의 설명 가능성을 제공하며, 사용자 선호도 역학과 과거 아이템의 시간적 영향을 반영한다.