[논문 리뷰] Time is of the Essence: a Joint Hierarchical RNN and Point Process Model for Time and Item Predictions

Bjørnar Vassøy, Massimiliano Ruocco외 2명|arXiv (Cornell University)|2018. 12. 04.

Multi-Criteria Decision Making참고 문헌 21인용 수 9

한 줄 요약

이 논문은 내부 세션 내 동적 변화, 세션 간 관계 및 시간 간격 모델링을 통합함으로써 세션 기반 항목 추천과 복귀 시간 예측을 동시에 향상시키는 공동 계층적 RNN 및 포인트 프로세스 모델(THRNN)을 제안한다. 이 모델은 Last.fm 및 Reddit 데이터셋에서 Recall과 MRR에서 뚜렷한 향상을 보이며, 제어 가능한 손실 함수를 통해 짧은, 중간, 또는 긴 기간 예측에 대한 집중을 조절할 수 있도록 하여 양 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In recent years session-based recommendation has emerged as an increasingly applicable type of recommendation. As sessions consist of sequences of events, this type of recommendation is a natural fit for Recurrent Neural Networks (RNNs). Several additions have been proposed for extending such models in order to handle specific problems or data. Two such extensions are 1.) modeling of inter-session relations for catching long term dependencies over user sessions, and 2.) modeling temporal aspects of user-item interactions. The former allows the session-based recommendation to utilize extended session history and inter-session information when providing new recommendations. The latter has been used to both provide state-of-the-art predictions for when the user will return to the service and also for improving recommendations. In this work we combine these two extensions in a joint model for the tasks of recommendation and return-time prediction. The model consists of a Hierarchical RNN for the inter-session and intra-session items recommendation extended with a Point Process model for the time-gaps between the sessions. The experimental results indicate that the proposed model improves recommendations significantly on two datasets over a strong baseline, while simultaneously improving return-time predictions over a baseline return-time prediction model.

연구 동기 및 목표

• 기존의 세션 기반 추천 시스템이 장기적 사용자 행동과 시간 동적 변화를 동시에 모델링하지 못하는 한계를 해결하기 위해.
• 순수하게 시간 간격에 의존하는 것 외에도 세션 간 사용자-항목 상호작용 패턴을 통합함으로써 복귀 시간 예측을 향상시키기 위해.
• RNN 및 포인트 프로세스 구성 요소 간 공유 표현을 통해 추천 품질과 복귀 시간 예측 정확도를 공동 최적화하기 위해.
• 제어 가능한 손실 함수 구성 요소를 통해 짧은, 중간, 또는 긴 기간 예측에 대한 집중을 민감하게 제어할 수 있도록 하기 위해.
• 세션 간 동적 변화와 시간 간격을 함께 모델링할 경우 추천 및 시간 예측 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 모델은 계층적 순환 신경망(HRNN)을 사용하여 세션 내 항목 시퀀스와 세션 수준의 동적 변화를 학습한다.
• 포인트 프로세스 모델(특히 Hawkes 프로세스)을 사용하여 세션 간 시간 간격을 모델링하며, 강건한 강건성은 HRNN에서 공유되는 임bedding으로 파arameter화된다.
• 공동 학습 과정은 시간 간격 범위(짧음, 중간, 긴)에 대한 중요도를 조절할 수 있는 제어 변수 α를 포함한 가중치 손실 함수를 통합한다.
• HRNN의 세션 수준 레이어는 세션 간 장기적 사용자 행동 패턴을 포착하고, 항목 수준 레이어는 각 세션 내 즉각적인 순차적 의존성을 모델링한다.
• HRNN와 포인트 프로세스 간 공유 임베딩을 통해 시간 예측이 실제 사용자-항목 상호작용 패턴에 의해 영향을 받는다.
• 모델은 추천 정확도와 시간 간격 예측 오차를 병합한 복합 손실을 사용하여 백프로파게이션을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 세션 내 항목 시퀀스, 세션 간 사용자 행동, 시간 간격을 공동으로 모델링하면 추천 및 복귀 시간 예측 성능 향상에 기여하는가?
• RQ2 시간 간격 모델링을 위해 포인트 프로세스를 통합할 경우 세션 기반 추천 품질에 어떤 영향을 미치는가?
• RQ3 손실 함수의 제어 변수를 통해 모델의 짧은, 중간, 또는 긴 복귀 시간 예측에 대한 집중을 어느 정도 제어할 수 있는가?
• RQ4 RNN과 포인트 프로세스 간 공유 표현 학습이 별도의 모델보다 더 나은 일반화 성능을 이끌어내는가?
• RQ5 모델은 추천 및 시간 예측 작업 모두에서 최신 기술 수준의 베이스라인과 비교해 어떻게 성능을 내는가?

주요 결과

• Last.fm 데이터셋에서 THRNN 모델은 HRNN 베이스라인 대비 Recall@5에서 6.6% 향상되고 MRR@5에서 3.4% 향상되었으며, Recall@20에서는 11.2% 향상되고 MRR@20에서는 5.3% 향상되었다.
• Reddit 데이터셋에서 THRNN는 GRU4REC 베이스라인 대비 Recall@5에서 39.3% 향상되고 MRR@5에서 36.0% 향상되어 다양한 도메인에 걸쳐 강력한 일반화 성능을 보였다.
• 공유 표현 학습 덕분에 두 베이스라인 Hawkes 포인트 프로세스 모델보다 복귀 시간 예측에서 뛰어난 성능을 보였으며, 특히 관측 빈도가 높은 시간 간격에서 두드러진 성능 향상을 보였다.
• 손실 함수의 제어 변수 α를 조정함으로써 예측 집중을 효과적으로 제어할 수 있었다: 높은 α 값은 더 긴 시간 간격을 우선시하고, 낮은 값은 짧은 간격을 강조했다.
• 공동 모델은 추천 및 복귀 시간 예측 작업 양쪽에서 최신 기술 수준의 성능를 달성하여 공동 모델링의 승자-승자 상황을 입증했다.
• HRNN 대비 성능 향상은 GRU4REC 대비 작았는데, 이는 HRNN가 이미 일부 시간 동적 변화를 포착하고 있음을 시사하지만, 포인트 프로세스 모델링의 추가로 추가적인 성능 향상이 이루어졌음을 의미한다.