[논문 리뷰] Augmenting Recurrent Neural Networks with High-Order User-Contextual Preference for Session-Based Recommendation

Younghun Song, Jae-Gil Lee|arXiv (Cornell University)|2018. 05. 08.

Recommender Systems and Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 제품 기반 신경망(PNN)을 사용하여 고차원 사용자-맥락 선호도를 명시적으로 모델링함으로써 기존 RNN 기반 세션 모델을 향상시키는 증강 순환 신경망(ARNN)을 제안한다. 연령, 성별, 위치와 같은 정적 사용자 맥락을 통합함으로써 ARNN은 추천 성능을 크게 향상시키며, 풍부한 사용자 맥락 데이터가 제공될 경우 XING 데이터셋에서 GRU4REC 대비 MRR@20 기준 19.5%의 상대적 향상을 달성한다.

ABSTRACT

The recent adoption of recurrent neural networks (RNNs) for session modeling has yielded substantial performance gains compared to previous approaches. In terms of context-aware session modeling, however, the existing RNN-based models are limited in that they are not designed to explicitly model rich static user-side contexts (e.g., age, gender, location). Therefore, in this paper, we explore the utility of explicit user-side context modeling for RNN session models. Specifically, we propose an augmented RNN (ARNN) model that extracts high-order user-contextual preference using the product-based neural network (PNN) in order to augment any existing RNN session model. Evaluation results show that our proposed model outperforms the baseline RNN session model by a large margin when rich user-side contexts are available.

연구 동기 및 목표

• 기존 RNN 기반 세션 모델이 연령, 성별, 위치와 같은 정적 사용자 측 맥락을 명시적으로 모델링하는 데에 한계가 있음을 해결하기 위해.
• 사용자 맥락과 순차적 항목 행동 간의 고차원 상호작용을 캡처하여 세션 기반 추천의 개인화를 향상시키기 위해.
• 기존 RNN 세션 모델에 맥락 선호도 모델링 기능을 추가할 수 있는 플러그 앤 플레이 프레임워크를 개발하기 위해.
• 풍부한 사용자 맥락 데이터가 제공될 경우 고차원 사용자-맥락 선호도 모델링이 추천 품질 향상에 측정 가능한 기여를 하는지 평가하기 위해.

제안 방법

• 표준 RNN 세션 모델과 PNN 기반 맥락 인코더를 조합하여 정적 사용자 맥락과 이전 항목 간의 고차원 상호작용을 모델링하는 증강 RNN인 ARNN을 도입한다.
• PNN를 사용하여 임bedded된 사용자 맥락 특징과 RNN의 은닉 상태 간의 쌍별 곱 연산을 계산함으로써 비선형적이고 고차원의 상호작용을 포착한다.
• PNN 출력과 RNN의 은닉 상태를 피드포워드 레이어를 통해 병합하여 맥락 인식 세션 표현을 생성한다.
• 음성 항목 점수를 0으로 밀어내고 점수 폭주를 방지하기 위해 순서 정렬 성능을 최적화하기 위해 TOP1 손실 함수를 사용한다.
• 데이터셋 별 학습률과 가중치 감쇠를 고려한 Adagrad 옵timizer를 활용하며, 최적화 설정에 대한 모델 성능 민감도를 강조한다.
• RNN이 순차적 패턴을 학습하고 PNN가 사용자-맥락 선호도를 인코딩하는 방식으로 세션 로그에 대해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 연령, 성별, 위치와 같은 정적 사용자 측 맥락을 명시적으로 모델링하면 RNN 기반 세션 모델의 성능이 향상되는가?
• RQ2 사용자 맥락과 순차적 항목 행동 간의 고차원 상호작용 모델링이 저차원 또는 맥락 없이 모델링하는 것보다 더 높은 추천 정확도를 제공하는가?
• RQ3 풍부한 사용자 맥락이 제공될 경우 ARNN의 성능은 GRU4REC 및 Item-KNN과 같은 강력한 베이스라인과 비교해 어떻게 되는가?
• RQ4 사용자 맥락 특징이 희박할 경우 ARNN의 성능 향상이 이루어지지 않는 조건은 무엇인가?
• RQ5 기존 RNN 세션 모델에 전체 아키텍처를 재학습하지 않고도 PNN 기반 맥락 인코더를 효과적으로 통합할 수 있는가?

주요 결과

• XING 데이터셋에서 ARNN은 GRU4REC 베이스라인을 상당히 뛰어넘어 MRR@20 기준 19.5%의 상대적 향상을 기록했다(0.1252 대비 0.1169).
• XING 데이터셋에서 ARNN은 Recall@20가 0.3106을 기록하여 GRU4REC의 0.2597 대비 17.8%의 상대적 향상을 달성했다.
• XING에서의 성능 향상은 직업명, 위치, 로그인 플랫폼 등 풍부한 사용자 맥락 특징의 가용성 덕분에 효과적인 고차원 선호도 모델링이 가능했기 때문이다.
• TMALL 데이터셋에서는 사용자 맥락 필드가 사용자 ID, 연령, 성별의 세 가지 밖에 없어 ARNN은 GRU4REC에 비해 근소한 향상만 보였으며, 맥락이 희박할 경우 이점이 제한적임을 시사한다.
• 단독 PNN 모델은 성능이 열악했으며(XING에서 Recall@20: 0.1439), 맥락 모델링만으로는 충분하지 않음을 확인했지만, ARNN의 RNN와의 통합은 강력한 성능 향상을 이끌어냈다.
• 학습률과 가중치 감쇠와 같은 하이퍼파rameter 조정이 모델 수렴과 성능에 매우 중요했으며, 최적화 설정에 민감함을 보였다.