[논문 리뷰] HCGR: Hyperbolic Contrastive Graph Representation Learning for Session-based Recommendation

Naicheng Guo, Xiaolei Liu외 7명|arXiv (Cornell University)|2021. 07. 06.

Recommender Systems and Techniques참고 문헌 46인용 수 6

한 줄 요약

HCGR는 세션 기반 추천을 위한 초구형 대비 그래프 신경망을 제안하며, 계층적 항목 관계를 모델링하고 표현 학습을 향상시키기 위해 로렌츠 초구형 공간을 활용한다. 기하적 거리 기반의 적응형 초구형 주의 및 대비 학습을 통합함으로써 HCGR는 네 개의 실세계 데이터셋에서 HitRate, NDCG, MRR 측정치에서 최신 기술(SOTA) 기준보다 최대 28.84% 향상된 최고 성능을 달성한다.

ABSTRACT

Session-based recommendation (SBR) learns users' preferences by capturing the short-term and sequential patterns from the evolution of user behaviors. Among the studies in the SBR field, graph-based approaches are a relatively powerful kind of way, which generally extract item information by message aggregation under Euclidean space. However, such methods can't effectively extract the hierarchical information contained among consecutive items in a session, which is critical to represent users' preferences. In this paper, we present a hyperbolic contrastive graph recommender (HCGR), a principled session-based recommendation framework involving Lorentz hyperbolic space to adequately capture the coherence and hierarchical representations of the items. Within this framework, we design a novel adaptive hyperbolic attention computation to aggregate the graph message of each user's preference in a session-based behavior sequence. In addition, contrastive learning is leveraged to optimize the item representation by considering the geodesic distance between positive and negative samples in hyperbolic space. Extensive experiments on four real-world datasets demonstrate that HCGR consistently outperforms state-of-the-art baselines by 0.43$\%$-28.84$\%$ in terms of $HitRate$, $NDCG$ and $MRR$.

연구 동기 및 목표

• 세션 기반 추천에서 계층적, 파워-법칙 분포를 띠는 사용자 행동 패턴을 포괄하지 못하는 유클리드 공간의 한계를 해결한다.
• 초구형 기하학의 내재된 표현 능력을 활용해 유클리드 공간에 트리 구조의 계층적 항목 관계를 임bedding할 때 발생하는 왜곡을 완화한다.
• 유럽형과 초구형 공간 간 기하학적 불일치를 고려한 주의 기반 집계 과정을 존중하는 새로운 초구형 그래프 메시지 전달 메커니즘을 설계한다.
• 초구형 공간에서 기하적 거리 기반으로 최적화된 대비 학습을 통해 항목 표현을 향상시켜 긍정 및 부정 샘플 간의 구별 능력을 향상시킨다.
• 초구형 공간이 항목 인기도 계층을 더 잘 유지하고 순차적 사용자 행동에서 더 적응형 주의 가중치를 제공함을 입증한다.

제안 방법

• 초구형 공간에서 항목을 임베딩하여 그들의 계층적이고 일관된 구조적 특성을 유지하며, 초구형 공간의 지수적 부피 증가 특성을 활용한다.
• 초구형 공간에서 기하적 거리 기반으로 메시지 전파를 계산하는 적응형 초구형 주의 메커니즘을 설계하여 집계 과정에서 기하학적 일관성을 확보한다.
• 긍정 샘플 간 기하적 거리의 최소화와 부정 샘플 간 기하적 거리의 최대화를 최적화하는 대비 학습 목표를 도입한다.
• 초구형 벡터 덧셈과 주의 계산을 포함한 안정적이고 미분 가능한 연산을 위해 로렌츠 초구형 모델을 활용하여 기하학적 정밀도를 유지한다.
• 노드 임베딩이 초구형 메시지 전달을 통해 업데이트되는 그래프 신경망 프레임워크를 구성하며, 주의 가중치는 초구형 다양체의 탄젠트 공간에서 학습된다.
• 기존의 교차 엔트로피나 BPR 손실 함수가 초구형 기하학을 잘 반영하지 못하는 데 비해, 초구형 공간에 맞춤형으로 조정된 온도 기반 대비 손실 함수를 적용한다.

실험 결과

연구 질문

• RQ1 세션 기반 추천에서 초구형 공간이 유클리드 공간에 비해 사용자 세션 행동의 계층적 및 파워-법칙 분포 특성을 더 잘 표현할 수 있는가?
• RQ2 초구형 대비 학습은 세션 기반 추천에서 항목 표현의 구별 능력을 어떻게 향상시키는가?
• RQ3 제안된 초구형 주의 메커니즘은 유클리드 기반 주의에 비해 장거리 의존성과 항목 중요도를 얼마나 더 효과적으로 포착하는가?
• RQ4 실세계 데이터셋에서 항목 인기도 계층을 모델링할 때 초구형 기하학의 통합이 표현 왜곡을 줄이는가?
• RQ5 다양한 세션 기반 추천 벤치마크에서 HCGR는 HitRate, NDCG, MRR 측정치에서 최신 기술 모델과 비교해 어떠한 성능을 보이는가?

주요 결과

• HCGR는 네 개의 실세계 데이터셋에서 최신 기술 기준 모델보다 일관되게 향상된 성능을 보이며, HitRate, NDCG, MRR 측정치에서 0.43%에서 28.84%까지의 향상률을 기록했다.
• 모델은 계층적 항목 인기도를 더 잘 포착하는 능력을 보이며, 주의 및 임베딩 시각화를 통해 더 인기 있는 항목들이 초구형 공간의 원점 근처에 집중되어 있음을 확인했다.
• 초구형 공간은 인기 있는 항목 간의 구별 능력을 향상시키며, HCGR에서 상위 항목(영역 1)의 평균 상호작용 횟수가 ECGR에 비해 더 높다는 것으로 나타났다.
• HCGR의 주의 가중치는 더 적응형이고 구별 능력이 뛰어나 핵심 행동 전이에 더 높은 점수를 할당함으로써 순차적 영향력을 더 잘 모델링하고 있음을 시사한다.
• 2D 및 3D 초구형 공간에서의 임베딩 시각화 결과는 명확한 계층적 클러스터링을 보이며, 인기 있는 항목들이 중심에 위치하고 덜 인기 있는 항목들이 외곽으로 퍼져 있는 모습을 확인할 수 있었다.
• 초구형 공간에서의 대비 학습은 표현 품질을 크게 향상시켰으며, 긍정 및 부정 항목 쌍 간의 기하적 거리 분리가 향상된 것으로 확인되었다.