[논문 리뷰] When Multi-Level Meets Multi-Interest: A Multi-Grained Neural Model for Sequential Recommendation

Yu Tian, Jianxin Chang외 3명|arXiv (Cornell University)|2022. 05. 03.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 순차적 추천을 위한 다중 곡격 신경망(MGNM)을 제안한다. MGNM는 다중 수준 사용자 선호도 모델링과 다중 관심사 학습을 통합하는 모델로, 사용자 인식형 아이템 상호작용 그래프를 구축하고 반복적 그래프 컨볼루션을 적용하여 복잡한 계층적 선호도를 포착한다. 또한 새로운 순차적 캡슐 네트워크를 통해 순차적 패턴을 다중 관심사 추출에 통합함으로써, HIT@5에서 최대 4.35% 향상, NDCG@5에서 최대 3.12% 향상된 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Sequential recommendation aims at identifying the next item that is preferred by a user based on their behavioral history. Compared to conventional sequential models that leverage attention mechanisms and RNNs, recent efforts mainly follow two directions for improvement: multi-interest learning and graph convolutional aggregation. Specifically, multi-interest methods such as ComiRec and MIMN, focus on extracting different interests for a user by performing historical item clustering, while graph convolution methods including TGSRec and SURGE elect to refine user preferences based on multi-level correlations between historical items. Unfortunately, neither of them realizes that these two types of solutions can mutually complement each other, by aggregating multi-level user preference to achieve more precise multi-interest extraction for a better recommendation. To this end, in this paper, we propose a unified multi-grained neural model(named MGNM) via a combination of multi-interest learning and graph convolutional aggregation. Concretely, MGNM first learns the graph structure and information aggregation paths of the historical items for a user. It then performs graph convolution to derive item representations in an iterative fashion, in which the complex preferences at different levels can be well captured. Afterwards, a novel sequential capsule network is proposed to inject the sequential patterns into the multi-interest extraction process, leading to a more precise interest learning in a multi-grained manner.

연구 동기 및 목표

• 기존 순차적 추천 모델이 복잡한 다중 곡격 사용자 선호도를 모델링하지 못하는 한계를 해결하기 위해.
• 단일 프레임워크 내에서 다중 관심사 학습과 다중 수준 선호도 모델링 간 격차를 해소하기 위해.
• 학습 가능한 그래프 구축 및 반복적 그래프 컨볼루션 과정을 통해 고수준 및 세밀한 사용자 관심사를 모두 포착하여 추천 정확도를 향상시키기 위해.
• 새로운 순차적 캡슐 네트워크를 통해 순차적 패턴을 통합함으로써 다중 관심사 추출을 향상시키기 위해.
• 다양한 실세계 추천 시나리오에서 제안된 모델의 효과성과 강건성을 검증하기 위해.

제안 방법

• MGNM는 이전 사용자 행동에서 사용자 인식형 아이템 상호작용 그래프를 구축하여 느슨한 순서를 더 잘 구조화된 그래프로 전환함으로써 선호도 모델링을 향상시킨다.
• 반복적 그래프 컨볼루션을 적용하여 다양한 곡격성에서 복잡한 다중 수준 선호도를 포착하는 아이템 표현을 도출한다.
• 새로운 순차적 캡슐 네트워크를 설계하여 순차적 패턴을 다중 관심사 학습 과정에 통합함으로써 관심사 추출 정밀도를 향상시킨다.
• 다중 그래프 컨볼루션 레이어에 걸쳐 최대 풀링을 적용하여 각 사용자별로 가장 관련성이 높은 선호도 수준을 식별함으로써 다중 곡격 관심사 표현을 가능하게 한다.
• 다중 관심사 학습과 다중 수준 선호도 모델링을 종단 간 학습 가능한 방식으로 통합하며, 사용자별 관심사 역학에 주의를 기울인다.
• 대조 학습 목표를 사용하여 표현 품질과 다양한 사용자 행동 간 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 수준 선호도 모델링과 다중 관심사 학습을 통합하면 순차적 추천 성능이 향상되는가?
• RQ2 다중 관심사 추출에 순차적 패턴을 통합하면 추천 정확도에 어떤 영향을 미치는가?
• RQ3 사용자 관심사 표현의 다양한 곡격 수준이 모델 성능에 어떤 영향을 미치는가?
• RQ4 다양한 의미 복잡도를 가진 다양한 추천 시나리오에서 모델의 강건성은 어떠한가?
• RQ5 다양한 데이터셋에 최적의 관심사 클러스터 수(K)와 그래프 컨볼루션 레이어 수(L)는 얼마인가?

주요 결과

• MGNM는 세 개의 실세계 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 최고의 베이스라인 대비 NDCG@5에서 3.12% 향상되고 HIT@5에서 4.35% 향상되었다.
• 모델은 전자상거래, 마이크로 비디오, 음악 악기 등 다양한 추천 시나리오에서 강건성을 보였으며, 다양한 하이퍼파라미터 설정에서도 안정적인 성능을 유지했다.
• 최적의 관심사 클러스터 수(K)는 장난감 및 게임 데이터셋에서는 2이며, 마이크로 비디오 데이터셋에서는 4로, 의미 복잡도의 차이를 반영한다.
• 다중 수준 선호도 모델링은 성능 향상에 크게 기여하며, 특히 장면의 의미 공간이 넓은 마이크로 비디오 데이터셋에서는 고수준 선호도가 더 두드러진 역할을 한다.
• 추론 단계에서 최대 풀링이 합성 풀링보다 우수한 성능을 보이며, 사용자 인식형 다중 수준 선호도 선택 메커니즘이 효과적임을 확인한다.
• 학습 시간이 계산적으로 효율적이며, 마이크로 비디오와 같은 대규모 데이터셋에서도 단일 GPU에서 약 1.5시간의 에포크 시간만 소요된다.