[논문 리뷰] Recurrent Coevolutionary Feature Embedding Processes for Recommendation

Hanjun Dai, Yichen Wang외 2명|arXiv (Cornell University)|2017. 04. 24.

Recommender Systems and Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 추천 시스템에서 사용자 및 아이템 특성 간의 비선형적이고 시간에 따라 변화하는 상호 영향을 포착하기 위해 RNN과 다차원 점과정을 결합한 순환 공진화 특성 임베딩 프로세스 모델을 제안한다. 이 모델은 최신 기술 대비 다양한 실세계 데이터셋에서 사용자 행동 예측 성능을 크게 향상시킨다.

ABSTRACT

Recommender systems often use latent features to explain the behaviors of users and capture the properties of items. As users interact with different items over time, user and item features can influence each other, evolve and co-evolve over time. To accurately capture the fine grained nonlinear coevolution of these features, we propose a recurrent coevolutionary feature embedding process model, which combines recurrent neural network (RNN) with a multi-dimensional point process model. The RNN learns a nonlinear representation of user and item embeddings which take into account mutual influence between user and item features, and the feature evolution over time. We also develop an efficient stochastic gradient algorithm for learning parameters. Experiments on diverse real-world datasets demonstrate significant improvements in user behavior prediction compared to state-of-the-arts.

연구 동기 및 목표

• 추천 시스템에서 시간에 따라 변화하는 사용자 및 아이템 특성 간의 동적이고 상호작용적인 영향을 모델링하기 위해.
• 시간적 상호작용을 통해 세밀한 비선형 공진화를 포착하기 위해 사용자 및 아이템 임베딩의 공진화를 모델링하기 위해.
• 대규모 상호작용 데이터에서 공진화 모델을 효율적으로 훈련할 수 있는 확장 가능한 학습 알고리즘을 개발하기 위해.
• 서로 영향을 주고받는 특성의 진화를 모델링하여 사용자 행동 예측 정확도를 향상시키기 위해.

제안 방법

• 모델은 시간에 따라 변화하는 사용자 및 아이템 임베딩의 비선형 표현을 학습하기 위해 순환 신경망(RNN)을 활용한다.
• 사용자-아이템 상호작용의 시점과 순서를 연속 시간 내의 사건으로 모델링하기 위해 다차원 점과정을 통합한다.
• RNN은 상호작용 이력에 기반하여 사용자 및 아이템 특성 간의 상호 영향을 업데이트함으로써 포착한다.
• 스토하스틱 경사 하강법을 사용하여 임베딩 진화와 사건 예측을 함께 최적화함으로써 효율적인 훈련을 수행한다.
• 공진화 과정은 사용자 특성의 변화가 아이템 특성에 영향을 주고, 그 반대의 영향도 주는 피드백 루프 방식으로 파arameter화된다.
• 시간적 동역학을 모델링하면서 사용자 및 아이템 표현을 종합적으로 학습할 수 있는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 순차적 상호작용에 대응하여 사용자 및 아이템 특성은 시간에 따라 비선형적으로 어떻게 공진화되는가?
• RQ2 사용자 및 아이템 특성 간의 상호 영향을 모델링할 경우, 행동 예측 정확도 향상 정도는 어느 정도인가?
• RQ3 순환 신경망은 변화하는 사용자 및 아이템 임베딩의 시간적 동역학을 효과적으로 포착할 수 있는가?
• RQ4 제안된 모델은 실세계 데이터셋에서 최신 기술 대비 사용자 행동 예측 성능에서 어떻게 비교되는가?

주요 결과

• 제안된 모델은 다양한 실세계 데이터셋에서 사용자 행동 예측 성능을 크게 향상시킨다.
• RNN과 다차원 점과정의 통합은 사용자 및 아이템 특성의 비선형 공진화를 효과적으로 모델링할 수 있게 한다.
• 특성 간의 상호 영향을 더 효과적으로 포착하여, 특성을 별개로 처리하는 모델보다 뛰어난 성능을 보인다.
• 스토하스틱 경사 하강 학습 알고리즘이 대규모 상호작용 데이터에서 효율적인 훈련을 가능하게 한다.
• 결과적으로 특성의 공진화를 모델링할 경우 정적 또는 별개로 진화하는 임베딩보다 더 높은 예측 성능을 달성함을 입증한다.