[논문 리뷰] Graph-Enhanced Multi-Task Learning of Multi-Level Transition Dynamics for Session-based Recommendation

Chao Huang, Jiahui Chen외 7명|arXiv (Cornell University)|2021. 10. 08.

Recommender Systems and Techniques인용 수 13

한 줄 요약

이 논문은 위치 인식 주의 메커니즘과 계층적 그래프 인코더를 통해 세션 내 순차적 전이와 세션 간 고차원 항목 의존성을 동시에 모델링하는 그래프 강화 다중 작업 학습 프레임워크 MTD를 제안한다. 실험 결과, 세 가지 실세계 데이터셋에서 최신 기술을 초월하는 성능을 보이며 효율적인 학습 시간을 유지한다.

ABSTRACT

Session-based recommendation plays a central role in a wide spectrum of online applications, ranging from e-commerce to online advertising services. However, the majority of existing session-based recommendation techniques (e.g., attention-based recurrent network or graph neural network) are not well-designed for capturing the complex transition dynamics exhibited with temporally-ordered and multi-level inter-dependent relation structures. These methods largely overlook the relation hierarchy of item transitional patterns. In this paper, we propose a multi-task learning framework with Multi-level Transition Dynamics (MTD), which enables the jointly learning of intra- and inter-session item transition dynamics in automatic and hierarchical manner. Towards this end, we first develop a position-aware attention mechanism to learn item transitional regularities within individual session. Then, a graph-structured hierarchical relation encoder is proposed to explicitly capture the cross-session item transitions in the form of high-order connectivities by performing embedding propagation with the global graph context. The learning process of intra- and inter-session transition dynamics are integrated, to preserve the underlying low- and high-level item relationships in a common latent space. Extensive experiments on three real-world datasets demonstrate the superiority of MTD as compared to state-of-the-art baselines.

연구 동기 및 목표

• 기존의 세션 기반 추천 방법이 복잡한 다중 수준 항목 전이 동역학을 포착하는 데에 한계가 있음을 해결하기 위해.
• 통합된 프레임워크 내에서 세션 내 순차 패턴과 세션 간 고차원 의존성을 동시에 모델링하기 위해.
• 공유된 잠재 공간 내에서 저수준(세션 내) 및 고수준(세션 간) 항목 관계를 유지하기 위해.
• 그래프 신경망과 주의 메커니즘을 통합하여 계층적 전이 신호를 활용해 추천 정확도를 향상시키기 위해.

제안 방법

• 순차적 전이를 포착하기 위해 위치 인코딩을 자기 주의 메커니즘에 통합한 위치 인식 이중 단계 주의 네트워크를 설계하였다.
• 전역 항목 상호작용 그래프 위에서 임베딩 전파를 수행하는 그래프 구조의 계층적 관계 인코더가 세션 간 의존성을 모델링한다.
• 공통 잠재 공간 내에서 표현을 공유함으로써 세션 내 및 세션 간 학습을 다중 작업 학습 목표를 통해 통합한다.
• 모델은 모든 세션으로부터 구성된 전역 그래프를 사용하여 세션 간 고차원 연결성 학습을 가능하게 한다.
• 주의 메커니즘은 위치와 관련성에 따라 항목 전이에 동적 가중치를 적용하여 순차적 모델링을 향상시킨다.
• 세션 수준 및 전역 전이 신호를 동시에 최적화하는 공동 손실 함수를 사용하여 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 통합된 프레임워크가 세션 내 순차적 전이와 세션 간 고차원 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 지역적 또는 전역 패턴에만 집중하는 모델과 비교해 계층적 전이 동역학을 통합함으로써 추천 성능이 어떻게 향상되는가?
• RQ3 위치 인식 주의 메커니즘이 세션 특화 순차적 행동을 포착하는 데에 어떤 영향을 미치는가?
• RQ4 그래프 기반 계층적 인코더가 세션 간 의존성 모델링을 어떻게 향상시키는가?
• RQ5 대규모 환경에서 제안된 MTD 프레임워크의 계산 효율성은 어떠한가?

주요 결과

• MTD는 YooChoose, Diginetica, RetailRocket 세 가지 실세계 데이터셋에서 최신 기술 성능을 달성한다.
• YooChoose 데이터셋에서 MTD는 Hit@20가 81.3%를 기록하여 다음으로 우수한 베이스라인보다 2% 이상 뛰어나다.
• Diginetica에서 MTD는 Hit@20가 78.9%를 기록하며 STAMP 및 SASRec보다 뚜렷한 향상을 보였다.
• RetailRocket에서 MTD는 Hit@20가 74.1%를 기록하여 복잡한 아키텍처를 가진 SR-GNN 및 CSRM을 뛰어넘었다.
• MTD는 뛰어난 계산 효율성을 보이며, 각각 YooChoose, Diginetica, RetailRocket에서 에포크당 학습 시간이 24초, 40초, 53초였다.
• 제거 실험 결과, 위치 인식 주의 메커니즘과 그래프 기반 계층적 인코더 양자가 성능 향상에 기여함을 확인하였다.