[논문 리뷰] Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommendation

Lianghao Xia, Chao Huang외 6명|arXiv (Cornell University)|2021. 10. 08.

Recommender Systems and Techniques인용 수 13

한 줄 요약

이 논문은 다중 유형의 사용자-아이템 상호작용(예: 조회, 즐겨찾기, 구매)을 유형별 행동 패턴, 지식 그래프를 통한 아이템 의미 관계, 시간 동적 변화를 동시에 캡처함으로써 다중 행동 추천을 모델링하는 지식 기반 계층적 그래프 트랜스포머(KHGT)를 제안한다. 다중 행동 상호작용 상호주의 어텐션과 게이트드 어그리게이션을 사용하여 이질적인 상호작용을 동적으로 가중함으로써, 실세계 데이터셋 세 개에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Accurate user and item embedding learning is crucial for modern recommender systems. However, most existing recommendation techniques have thus far focused on modeling users' preferences over singular type of user-item interactions. Many practical recommendation scenarios involve multi-typed user interactive behaviors (e.g., page view, add-to-favorite and purchase), which presents unique challenges that cannot be handled by current recommendation solutions. In particular: i) complex inter-dependencies across different types of user behaviors; ii) the incorporation of knowledge-aware item relations into the multi-behavior recommendation framework; iii) dynamic characteristics of multi-typed user-item interactions. To tackle these challenges, this work proposes a Knowledge-Enhanced Hierarchical Graph Transformer Network (KHGT), to investigate multi-typed interactive patterns between users and items in recommender systems. Specifically, KHGT is built upon a graph-structured neural architecture to i) capture type-specific behavior characteristics; ii) explicitly discriminate which types of user-item interactions are more important in assisting the forecasting task on the target behavior. Additionally, we further integrate the graph attention layer with the temporal encoding strategy, to empower the learned embeddings be reflective of both dedicated multiplex user-item and item-item relations, as well as the underlying interaction dynamics. Extensive experiments conducted on three real-world datasets show that KHGT consistently outperforms many state-of-the-art recommendation methods across various evaluation settings. Our implementation code is available at https://github.com/akaxlh/KHGT.

연구 동기 및 목표

• 추천 시스템에서 다수 유형의 사용자-아이템 상호작용 간 복잡한 상호의존성을 모델링하는 문제를 해결하기 위해.
• 통합된 그래프 기반 아키텍처를 통해 지식 기반 아이템 의미 관계를 다중 행동 추천에 통합하기 위해.
• 그래프 어텐션 메커니즘에 시간 인코딩을 통합하여 시간에 따른 사용자 상호작용 패턴의 동적 변화를 포착하기 위해.
• 목표 행동 예측에 있어 다양한 상호작용 유형의 중요도를 구분할 수 있는 계층적, 행동별 대응 표현 학습을 가능하게 하기 위해.
• 통합적이고 설명 가능한 아키텍처에서 상호유형 간 행동 의존성과 아이템-아이템 관계를 명시적으로 모델링함으로써 추천 정확도를 향상시키기 위해.

제안 방법

• KHGT는 다중 행동 그래프 트랜스포머 네트워크를 활용하여, 유형별 표현 공간 내에서 사용자-아이템 및 아이템-아이템 간 관계를 반복적으로 임베딩 전파한다.
• 시간 인코딩 전략을 적용하여 시간 인지적 맥락을 그래프 어텐션 메커니즘에 통합함으로써, 시간에 따른 상호작용 역학을 포착한다.
• 다중 행동 상호주의 어텐션 인코더는 서로 다른 유형의 사용자-아이템 상호작용 간 쌍별 의존성을 모델링하여 계층적 관련성을 학습한다.
• 게이트드 어그리게이션 레이어는 목표 행동 예측 작업에 대한 유형 간 관련성에 따라 다양한 행동 유형의 기여도를 동적으로 가중한다.
• 지식 그래프 임베딩을 통합하여 아이템 표현을 풍부화함으로써 아이템 간 관계의 의미적 이해를 향상시킨다.
• 하나의 하위그래프 샘플링과 드롭아웃 정규화를 사용하여, 특히 데이터 희소성 상황에서 학습 안정성과 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 조회, 즐겨찾기, 구매와 같은 다중 유형의 사용자 행동을 통합된 추천 아키텍처에서 효과적으로 모델링할 수 있는가?
• RQ2 지식 기반 아이템 의미 관계는 다중 행동 추천 성능 향상에 어느 정도 기여하는가?
• RQ3 사용자 상호작용의 시간 역학은 다중 행동 환경에서 행동 예측 정확도에 어떤 영향을 미치는가?
• RQ4 계층적 어텐션 메커니즘은 다양한 사용자 행동 간 상호의존성을 효과적으로 포착할 수 있는가?
• RQ5 다중 행동 상호주의 어텐션 및 게이트드 어그리게이션과 같은 아키텍처 구성 요소가 추천 성능에 미치는 영향은 무엇인가?

주요 결과

• KHGT는 Yelp, MovieLens, Online Retail 세 데이터셋 전반에서 HR@10 및 NDCG@10 지표에서 다수의 최신 기술(SOTA) 방법을 능가한다.
• Yelp 데이터셋에서, 130,000개의 하위그래프 노드로 테스트할 경우 KHGT는 HR@10이 0.478, NDCG@10이 0.469를 기록한다.
• 두 개의 반복적 메시지 전파 레이어를 가진 모델이 가장 높은 성능을 보이며, 더 깊은 계층적 집계의 이점이 있음을 시사한다.
• 더 큰 테스트 스케일 컨텍스트(예: 130,000개 노드)를 가진 하위그래프 샘플링은 정확도를 향상시키며, 드롭아웃을 통한 작은 학습 샘플은 과적합을 줄인다.
• 시간 간격 크기 분석 결과, 더 높은 시간 해상도에서 성능이 떨어지며, 세밀한 시간 인코딩의 중요성을 입증한다.
• 사례 연구를 통해 KHGT는 행동 유형 간 및 아이템 관계 간 설명 가능한 계층적 관련도 점수를 학습하며, 밝은 색상이 더 높은 학습된 관련도를 나타낸다.