[논문 리뷰] Efficiently Leveraging Multi-level User Intent for Session-based Recommendation via Atten-Mixer Network

Peiyan Zhang, Jiayan Guo외 7명|arXiv (Cornell University)|2022. 06. 26.

Recommender Systems and Techniques인용 수 7

한 줄 요약

이 논문은 복잡한 GNN 전파를 다중 수준 주의 읽기 메커니즘으로 대체하여 계층적 사용자 의도를 효율적으로 포착하는 경량 세션 기반 추천 모델인 Atten-Mixer를 제안한다. 개념 뷰 및 인스턴스 뷰 주의를 활용하고 검색 공간을 단순화하기 위한 인덕티브 바이어스를 도입함으로써, Atten-Mixer는 복잡도를 크게 감소시키면서도 최신 기술 수준(SOTA) 성능을 달성하였으며, 2021년 4월 이래로 온라인 배포에서 주요 비즈니스 지표에서 +1.5% 향상을 보였다.

ABSTRACT

Session-based recommendation (SBR) aims to predict the user's next action based on short and dynamic sessions. Recently, there has been an increasing interest in utilizing various elaborately designed graph neural networks (GNNs) to capture the pair-wise relationships among items, seemingly suggesting the design of more complicated models is the panacea for improving the empirical performance. However, these models achieve relatively marginal improvements with exponential growth in model complexity. In this paper, we dissect the classical GNN-based SBR models and empirically find that some sophisticated GNN propagations are redundant, given the readout module plays a significant role in GNN-based models. Based on this observation, we intuitively propose to remove the GNN propagation part, while the readout module will take on more responsibility in the model reasoning process. To this end, we propose the Multi-Level Attention Mixture Network (Atten-Mixer), which leverages both concept-view and instance-view readouts to achieve multi-level reasoning over item transitions. As simply enumerating all possible high-level concepts is infeasible for large real-world recommender systems, we further incorporate SBR-related inductive biases, i.e., local invariance and inherent priority to prune the search space. Experiments on three benchmarks demonstrate the effectiveness and efficiency of our proposal. We also have already launched the proposed techniques to a large-scale e-commercial online service since April 2021, with significant improvements of top-tier business metrics demonstrated in the online experiments on live traffic.

연구 동기 및 목표

• 기존의 복잡도가 증가하는 GNN 기반 세션 기반 추천 모델이 과도하게 파rameter화되어 있는지 여부를 조사한다.
• 읽기 모듈이 이미 강력한 선호 신호를 포착하고 있음에도 불구하고 GNN 전파가 불필요한지 규명한다.
• 이해관계자 책임을 강력한 다중 수준 읽기 모듈으로 이관하는 더 효율적인 아키텍처를 설계한다.
• 세션 기반 추천(SBR)에 특화된 인덕티브 바이어스—국소적 불변성과 본질적 우선순위—를 통합하여 고수준 개념의 검색 공간을 단순화한다.
• 오프라인 벤치마크와 대규모 온라인 배포를 통해 모델의 효과성과 효율성을 검증한다.

제안 방법

• 세션 표현을 위해 GNN 전파를 제거하고 다중 수준 주의 읽기 모듈에만 의존하는 Atten-Mixer 모델을 제안한다.
• 고수준 사용자 의도를 모델링하기 위해 항목을 추상적 개념(예: '웨딩 애트리뷰트')으로 그룹화하는 개념 뷰 읽기 모듈을 도입한다.
• 개별 항목, 특히 마지막 클릭 항목에 주의를 기울여 세부적인 선호도 모델링을 수행하는 인스턴스 뷰 읽기 모듈을 활용한다.
• 다중 수준 추론을 위해 개념 수준과 인스턴스 수준 표현을 결합하는 학습 가능한 주의 믹서를 사용한다.
• 가능한 고수준 개념의 검색 공간을 제약하기 위해 국소적 불변성과 본질적 우선순위와 같은 인덕티브 바이어스를 적용한다.
• 검증을 통해 초모델을 튜닝하고, 다음 항목 예측에 대해 교차 엔트로피 손실을 사용해 모델을 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 기존 SBR 모델에서 복잡한 GNN 전파가 실제로 필요한가, 아니면 읽기 모듈의 강력한 표현 능력으로 인해 불필요한가?
• RQ2 GNN을 제거한 단순화된 아키텍처가 향상된 읽기 설계를 통해 최신 기술 수준의 GNN 기반 SBR 모델을 초월할 수 있는가?
• RQ3 고수준 개념과 개별 항목을 모두 포함하는 다중 수준 추론은 세션 표현을 어떻게 향상시키는가?
• RQ4 고수준 개념의 검색 공간을 단순화하면서 성능을 손상시키지 않는 데 가장 효과적인 인덕티브 바이어스는 무엇인가?
• RQ5 경량화된 주의 기반 읽기 모델은 오프라인 벤치마크와 실제 온라인 프로덕션 시스템 양쪽에서 일관된 향상을 이룰 수 있는가?

주요 결과

• Atten-Mixer는 Diginetica, Gowalla, Last.fm의 세 가지 공개 벤치마크에서 SOTA 성능을 달성하였으며, 각각 HR@20가 55.66, 55.12, 27.01을 기록하였다.
• 실시간 트래픽 실험에서 일주일 동안의 온라인 비즈니스 지표가 +1.5% 향상되어 실제 운영 환경에서의 효과성을 입증하였다.
• Level-L 구성 요소에서 l=2일 때 성능이 최고조에 도달하여, 사용자 의도를 모델링하기 위해 두 수준의 추상화(인스턴스 및 개념)가 최적임을 시사한다.
• 더 많은 주의 헤드를 사용할수록 Diginetica와 Gowalla에서는 성능 향상이 있었지만, Last.fm에서는 성능 저하가 발생하여 헤드 수에 대한 데이터세트 특화 민감성이 있음을 보여준다.
• 모든 세션 길이에서 GC-SAN과 SR-GNN을 모두 압도하며, 특히 정보 손실가 심한 장기 세션에서 두드러진 성능 향상을 보였다.
• 제거 실험 결과, GNN 전파를 제거하면서도 읽기 성능을 향상시킨 결과는 GNN의 불필요성이라는 핵심 가설을 검증하였다.