[논문 리뷰] Multi-behavioral Sequential Prediction with Recurrent Log-bilinear Model

Qiang Liu, Shu Wu외 1명|arXiv (Cornell University)|2016. 08. 25.

Recommender Systems and Techniques참고 문헌 38인용 수 3

한 줄 요약

이 논문은 다중 행동 시계열 예측을 위한 순환 로그-이차형(RBL) 모델과 그 시간 인식 확장형 TA-RLBL을 제안한다. 이는 순환 아키텍처 내에서 행동별 및 위치 또는 시간별 전이 행렬을 활용하여 단기 및 장기 사용자 행동 맥락을 모델링한다. RLBL 및 TA-RLBL은 Movielens, 글로벌 테러리즘 데이터베이스, Tmall 데이터셋에서 최신 기술보다 뚜렷한 성능 향상을 보이며, RLBL는 최대 54.94%의 recall@10을 달성하고, TA-RLBL은 대부분의 지표에서 RLBL보다 향상된 성능을 보였다.

ABSTRACT

With the rapid growth of Internet applications, sequential prediction in collaborative filtering has become an emerging and crucial task. Given the behavioral history of a specific user, predicting his or her next choice plays a key role in improving various online services. Meanwhile, there are more and more scenarios with multiple types of behaviors, while existing works mainly study sequences with a single type of behavior. As a widely used approach, Markov chain based models are based on a strong independence assumption. As two classical neural network methods for modeling sequences, recurrent neural networks cannot well model short-term contexts, and the log-bilinear model is not suitable for long-term contexts. In this paper, we propose a Recurrent Log-BiLinear (RLBL) model. It can model multiple types of behaviors in historical sequences with behavior-specific transition matrices. RLBL applies a recurrent structure for modeling long-term contexts. It models several items in each hidden layer and employs position-specific transition matrices for modeling short-term contexts. Moreover, considering continuous time difference in behavioral history is a key factor for dynamic prediction, we further extend RLBL and replace position-specific transition matrices with time-specific transition matrices, and accordingly propose a Time-Aware Recurrent Log-BiLinear (TA-RLBL) model. Experimental results show that the proposed RLBL model and TA-RLBL model yield significant improvements over the competitive compared methods on three datasets, i.e., Movielens-1M dataset, Global Terrorism Database and Tmall dataset with different numbers of behavior types.

연구 동기 및 목표

• 기존 협업 필터링 방법이 순차적 사용자 상호작용에서 다중 행동 유형을 모델링하지 못하는 격차를 해결하기 위해.
• 마르코프 체인, RNN, 로그-이차형 모델이 사용자 행동 시계열의 복잡한 시간적 의존성을 포착하는 데 한계를 가지는 문제를 극복하기 위해.
• 다중 행동 시계열에서 단기(위치별) 및 장기(반복적) 의존성을 동시에 모델링하는 통합 프레임워크를 개발하기 위해.
• 사용자 행동 간 시간 간격 정보를 통합하여 동적 시계열 예측 성능을 향상시키기 위해.
• 다양한 행동 유형과 시계열 길이를 가진 실세계 데이터셋에서 제안된 모델을 평가하기 위해.

제안 방법

• RLBL 모델은 은닉층이 동시에 여러 항목을 처리할 수 있도록 순환 구조를 사용하여 사용자 행동 시계열의 장기 의존성을 모델링한다.
• 행동별 전이 행렬을 사용하여 항목 향해 이루어지는 다양한 유형의 사용자 행동(예: 클릭, 구매, 삭제)을 모델링한다.
• 최근 행동의 단기 맥락적 영향을 포착하기 위해 위치별 전이 행렬을 사용한다.
• TA-RLBL 확장형은 위치별 행렬을 시간별 행렬로 대체하여 사용자 행동 간 실제 시간 간격을 모델링한다.
• 사용자 및 항목의 임bedding과 행동 유형별로 파arameter화된 전이 행렬을 사용하여 엔드 투 엔드로 학습한다.
• 수렴 보장을 및 과적합 방지를 위해 정규화 및 조기 정지 기법을 적용한다.

실험 결과

연구 질문

• RQ1 통합 모델이 다중 행동 사용자 시계열에서 단기 및 장기 의존성을 효과적으로 포착할 수 있는가?
• RQ2 행동별 전이 행렬은 단일 행동 유형 모델링 대비 예측 정확도를 얼마나 향상시키는가?
• RQ3 행동 간 시간 간격 정보를 통합할 경우 시계열 예측 성능 향상 정도는 어느 정도인가?
• RQ4 다양한 데이터셋에서 제안된 RLBL 모델은 FPMC, HRM, RNN과 같은 최신 기술 대비 어떻게 비교되는가?
• RQ5 시간 역학을 모델링함으로써 TA-RLBL 모델이 RLBL보다 더 빠른 수렴과 향상된 성능을 달성하는가?

주요 결과

• Movielens-1M 데이터셋에서 RLBL는 recall@10이 54.94%를 기록하여 FPMC(33.87%)와 RNN(43.50%)를 크게 앞섰다.
• 글로벌 테러리즘 데이터베이스에서 RLBL는 MAP가 0.2811로 RNN(0.2401)과 HRM(0.1990)을 초월했다.
• Movielens에서 TA-RLBL는 중간 길이 창 설정에서 recall@10이 54.32%를 기록하여 RLBL(54.94%)보다 略적으로 높은 성능을 보였다.
• RLBL 및 TA-RLBL의 반복당 계산 시간은 표준 RNN의 두 배 이내였으며, 성능 향상에도 불구하고 수용 가능한 효율성을 보였다.
• 수렴 곡선 분석 결과, recall@1 값의 수렴 속도가 recall@5 및 recall@10보다 빠르며, 길이가 긴 순위 목록을 생성하기 위해서는 더 많은 학습 반복이 필요함을 시사한다.
• 모델은 시계열 길이 또는 행동 유형 수에 관계없이 Movielens, GTD, Tmall 세 데이터셋 전반에서 일관된 성능 향상을 보였다.