[논문 리뷰] Future Data Helps Training: Modeling Future Contexts for Session-based Recommendation

Fajie Yuan, Xiangnan He외 5명|arXiv (Cornell University)|2019. 06. 11.

Recommender Systems and Techniques참고 문헌 47인용 수 6

한 줄 요약

이 논문은 마스크된 아이템을 통한 간격 보충 목적 함수를 통해 미래의 맥락을 활용함으로써 데이터 泄漏를 방지하는 새로운 인코더-디코더 프레임워크 GRec을 제안한다. GRec은 NextItNet 및 BERT-스타일 인코더와 같은 최신 기술 모델들을 상회하며, 기계학습 원칙을 위반하지 않으면서도 미래 상호작용을 모델링함으로써 추천 정확도를 향상시킨다.

ABSTRACT

Session-based recommender systems have attracted much attention recently. To capture the sequential dependencies, existing methods resort either to data augmentation techniques or left-to-right style autoregressive training.Since these methods are aimed to model the sequential nature of user behaviors, they ignore the future data of a target interaction when constructing the prediction model for it. However, we argue that the future interactions after a target interaction, which are also available during training, provide valuable signal on user preference and can be used to enhance the recommendation quality. Properly integrating future data into model training, however, is non-trivial to achieve, since it disobeys machine learning principles and can easily cause data leakage. To this end, we propose a new encoder-decoder framework named Gap-filling based Recommender (GRec), which trains the encoder and decoder by a gap-filling mechanism. Specifically, the encoder takes a partially-complete session sequence (where some items are masked by purpose) as input, and the decoder predicts these masked items conditioned on the encoded representation. We instantiate the general GRec framework using convolutional neural network with sparse kernels, giving consideration to both accuracy and efficiency. We conduct experiments on two real-world datasets covering short-, medium-, and long-range user sessions, showing that GRec significantly outperforms the state-of-the-art sequential recommendation methods. More empirical studies verify the high utility of modeling future contexts under our GRec framework.

연구 동기 및 목표

• 세션 기반 추천에서 단방향 모델이 미래 사용자 상호작용을 忽略하는 한계를 해결하기 위해.
• 데이터 泄漏의 위험에도 불구하고 미래 맥락이 추천 품질을 향상시킬 수 있는지 탐색하기 위해.
• 기계학습 원칙을 위반하지 않으면서도 과거 및 미래 맥락을 모두 활용하는 학습 프레임워크를 설계하기 위해.
• 순차적 추천을 위한 일반적이고 유연하며 효율적인 인코더-디코더 아키텍처를 개발하기 위해.

제안 방법

• 인코더가 부분적으로 마스킹된 세션 시퀀스를 처리하고 디코더가 마스킹된 아이템을 예측하는 간격 보충 메커니즘을 제안한다.
• 기존 아이템을 마스킹함으로써 데이터 泄漏를 방지하는 고유한 학습 목표를 가진 시퀀스-투-시퀀스(seq2seq) 인코더-디코더 프레임워크를 사용한다.
• 사용자 세션 내 장거리 의존성을 효율적이고 정확하게 모델링하기 위해 희소 커널을 가진 확장된 컨볼루션 신경망을 활용한다.
• 표현 학습을 향상시켜 기준 모델 대비 성능 향상을 이끌어내는 프로젝터 모듈을 도입한다.
• 동일한 시퀀스에서 마스킹된 위치를 활용해 학습함으로써 양방향 맥락 모델링을 가능하게 하여 과거 및 미래 상호작용에서 학습할 수 있도록 한다.
• RNN으로 컨volutional 컴포넌트를 교체할 수 있도록 해 아키텍처의 유연성을 제공하며, 다양한 신경망 아키텍처로의 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 미래 사용자 상호작용을 모델링하면 세션 기반 추천 모델의 성능 향상에 기여할 수 있는가?
• RQ2 데이터 泄漏를 일으키지 않으면서도 미래 맥락을 효과적으로 학습에 통합할 수 있는가?
• RQ3 seq2seq 프레임워크에서 간격 보충 목적 함수는 단방향 자동회귀 모델 대비 양방향 사용자 행동 패턴을 더 잘 모델링할 수 있는가?
• RQ4 GRec 프레임워크는 NextItNet 및 BERT-스타일 인코더와 같은 강력한 베이스라인 모델 대비 정확도 및 내구성 측면에서 어떻게 비교되는가?
• RQ5 프로젝터 모듈과 양방향 맥락 모델링이 전체 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• GRec은 실제 세계 데이터셋 세 개(TW10, ML30, ML100)에서 최신 기술 성능을 달성하였으며, MRR@5 점수는 각각 0.117, 0.114, 0.103을 기록하여 NextItNet을 능가했다.
• 제거 실험 결과 프로젝터 모듈이 성능 향상에 기여하는 것으로 확인되었지만, GRec은 이 모듈이 없어도 여전히 NextItNet을 능가했다.
• GRec의 인코더 전용 변형(즉, BERT-스타일 모델과 유사)보다도 유의미하게 높은 성능을 보였으며, TW10에서 MRR@5는 0.0901 대비 0.0808을 기록하여, 양방향 맥락을 활용한 자동회귀 디코딩의 가치를 입증했다.
• 순환 신경망(Bi-GRU 인코더 또는 GRU 디코더)을 사용하는 GRec 변형도 각각의 베이스라인을 능가했으며, 이는 프레임워크의 유연성과 일반화 능력을 확인하는 데 기여했다.
• 짧은, 중간, 긴 세션 모두에서 일관된 성능 향상을 기록하여, 세션 길이에 관계없이 안정적인 성능을 보였다.
• 통제 실험과 아키텍처 설계를 통해 데이터 泄漏 없이 효과적으로 미래 맥락을 활용할 수 있음을 입증했다.