[논문 리뷰] Deep Coevolutionary Network: Embedding User and Item Features for Recommendation

Hanjun Dai, Yichen Wang외 2명|arXiv (Cornell University)|2016. 09. 13.

Recommender Systems and Techniques참고 문헌 32인용 수 74

한 줄 요약

이 논문은 다층 공진화 네트워크인 DeepCoevolve를 제안하며, 다변량 점과정 프레임워크 내에서 순환 신경망(RNN)을 사용하여 비선형적이고 시간에 따라 변화하는 사용자 및 아이템 특성 간의 상호작용을 모델링한다. 이 모델은 비모수적이고 동적인 임bedding을 통해 사용자와 아이템 간의 상호 영향을 포착하여, 시간 민감한 추천 및 활동 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recommender systems often use latent features to explain the behaviors of users and capture the properties of items. As users interact with different items over time, user and item features can influence each other, evolve and co-evolve over time. The compatibility of user and item's feature further influence the future interaction between users and items. Recently, point process based models have been proposed in the literature aiming to capture the temporally evolving nature of these latent features. However, these models often make strong parametric assumptions about the evolution process of the user and item latent features, which may not reflect the reality, and has limited power in expressing the complex and nonlinear dynamics underlying these processes. To address these limitations, we propose a novel deep coevolutionary network model (DeepCoevolve), for learning user and item features based on their interaction graph. DeepCoevolve use recurrent neural network (RNN) over evolving networks to define the intensity function in point processes, which allows the model to capture complex mutual influence between users and items, and the feature evolution over time. We also develop an efficient procedure for training the model parameters, and show that the learned models lead to significant improvements in recommendation and activity prediction compared to previous state-of-the-arts parametric models.

연구 동기 및 목표

• 추천 시스템 내에서 사용자 및 아이템 잠재 특성의 비선형적이고 시간에 따라 변화하는 공진화를 모델링하기 위해.
• 특성 변화에 대한 고정된 기능 형태를 가정하는 파arametric 모델의 한계를 극복하기 위해.
• 기본 주기 기반 또는 선형 모델로는 구현이 어려운 미래의 사용자-아이템 상호작용의 정확한 시간 예측을 가능하게 하기 위해.
• 진행 중인 상호작용 네트워크에서 상호의존적이고 i.i.d.가 아닌 데이터에 대해 RNN 기반 모델의 효율적인 훈련 절차를 개발하기 위해.
• 사용자와 아이템 간의 복잡하고 동적인 상호작용을 포착함으로써 추천 정확도 및 활동 예측을 향상시키기 위해.

제안 방법

• 모델은 다변량 점과정을 사용하여 사용자-아이템 상호작용을 연속 시간 내의 사건으로 간주하며, 강건한 강도 함수를 상호작용 그래프의 변화에 따라 RNN이 정의한다.
• 사용자 및 아이템 임베딩은 각 상호작용 시간에 비선형 RNN을 통해 업데이트되며, 이는 자기 진화, 공진화, 맥락(상호작용 특성) 및 자기 드리프트를 모두 포착한다.
• RNN은 과거 상호작용의 시퀀스를 처리하여 사용자 및 아이템 특성 간의 동적 영향력을 학습한다.
• 공진화 네트워크 내 샘플 간의 상호의존성을 다루기 위해 스 tochastic 훈련 알고리즘을 개발하여 확장 가능한 최적화를 가능하게 한다.
• 모델은 강도 함수를 비모수적으로 파라미터화하여 특성 변화의 기능 형태에 대한 강한 가정을 피한다.
• 이 프레임워크는 아이템 예측과 도착 시간 예측을 모두 지원하여 시간 민감한 추천을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사용자 및 아이템 잠재 특성의 비선형적이고 시간에 따라 변화하는 공진화를 상호 영향을 포착할 수 있도록 어떻게 모델링할 수 있는가?
• RQ2 RNN을 활용한 딥러닝 접근법이 사용자-아이템 상호작용 시퀀스의 복잡하고 비모수적인 역학을 효과적으로 모델링할 수 있는가?
• RQ3 진행 중인 상호작용 네트워크에서 상호의존적이고 i.i.d.가 아닌 대규모 데이터에 대해 이러한 모델을 효율적으로 훈련할 수 있는가?
• RQ4 제안된 모델이 시간 민감한 추천 작업에서 기존의 파arametric 및 선형 모델보다 우수한 성능을 보일 수 있는가?
• RQ5 특성의 공진화적 성격을 포착할 경우, 아이템 예측 및 상호작용 도착 시간 예측의 정확도 향상 정도는 어느 정도인가?

주요 결과

• DeepCoevolve는 최신 기술 수준의 파arametric 모델보다 추천 정확도 및 활동 예측에서 뚜렷한 향상을 이룬다.
• 모델은 대부분의 이전 연구에서 지원하지 않는 미래 상호작용의 정확한 도착 시간 예측을 가능하게 한다.
• 비모수적 RNN 기반 강도 함수는 선형 또는 고정된 파arametric 모델보다 더 효과적으로 복잡하고 비선형적인 공진화 역학을 포착한다.
• 스토하스틱 훈련 절차 덕분에 RNN 구성 요소를 포함한 대규모 상호작용 네트워크에 대해 모델이 확장 가능하고 해석 가능해졌다.
• 다양한 데이터셋에서 일관되게 뛰어난 성능을 보이며, 동적이고 상호의존적인 특성 진화를 모델링하는 것이 중요함을 입증한다.
• 선형 하크스 과정보다 더 표현력이 뛰어나며, 다변량 및 공진화 설정에서 RMTPP와 같은 모델보다 뛰어난 성능을 보인다.