[논문 리뷰] Improving Session Recommendation with Recurrent Neural Networks by Exploiting Dwell Time

Alexander Dallmann, Alexander Grimm외 3명|arXiv (Cornell University)|2017. 06. 30.

Recommender Systems and Techniques참고 문헌 13인용 수 10

한 줄 요약

이 논문은 사용자 관심도의 Proxy로 항목 체류 시간을 통합한 RNN 기반 세션 추천 모델을 제안하며, 추천 정확도를 향상시킨다. 표준 RNN에 체류 시간 특징을 추가함으로써 기준 모델 대비 Rec@20에서 통계적으로 유의미한 0.76% 상대적 향상(68.73%에서 69.26%로)을 달성하였으며, 단일 검증 분할을 사용할 경우 최적의 초모수 선택이 어려울 수 있음을 시사한다.

ABSTRACT

Recently, Recurrent Neural Networks (RNNs) have been applied to the task of session-based recommendation. These approaches use RNNs to predict the next item in a user session based on the previ- ously visited items. While some approaches consider additional item properties, we argue that item dwell time can be used as an implicit measure of user interest to improve session-based item recommen- dations. We propose an extension to existing RNN approaches that captures user dwell time in addition to the visited items and show that recommendation performance can be improved. Additionally, we investigate the usefulness of a single validation split for model selection in the case of minor improvements and find that in our case the best model is not selected and a fold-like study with different validation sets is necessary to ensure the selection of the best model.

연구 동기 및 목표

• 항목 체류 시간을 통해 사용자 관심도를 모델링하여 세션 기반 추천 성능을 향상시키는 것.
• 체류 시간이 암시적 피드백으로서 항목 순서 외적으로 RNN 기반 세션 모델링에 기여하는지 조사하는 것.
• 성능 향상 폭이 미미한 상황에서 단일 검증 세트를 통한 초모수 선택의 신뢰성 평가.
• 소규모 성능 차이가 존재하는 상황에서 강력한 모델 선택을 보장하기 위해 폴드 기반 교차 검증 방식을 제안하는 것.

제안 방법

• 표준 RNN 기반 세션 추천 모델에 항목 체류 시간을 추가 입력 특징으로 통합하여 확장한다.
• 이중 브랜치 아키텍처를 사용: 하나의 브랜치는 임bedding 레이어를 통해 항목 ID를 처리하고, 다른 브랜치는 별도의 임베딩 레이어를 통해 체류 시간을 처리한다.
• 임bed딩된 항목 및 체류 시간 표현을 결합한 후, 이를 GRU 기반 RNN에 입력하여 세션 시퀀스를 모델링한다.
• 최종 히든 상태를 기반으로 RNN의 최종 출력을 사용해 다음 항목을 예측하기 위한 분류기 헤드를 적용한다.
• 단일 검증 분할과 다수의 검증 일자(6일)를 포함한 폴드 기반 방식을 사용하여 초모수(예: 임베딩 크기, RNN 크기 등)에 대한 격자 탐색을 수행한다.
• 표준 평가 지표를 사용해 모델 성능을 검증한다: Recall@20 (Rec@20) 및 Mean Reciprocal Rank@20 (MRR@20).

실험 결과

연구 질문

• RQ1 항목 체류 시간을 사용자 관심도의 척도로 통합하면 RNN 기반 세션 추천 모델의 성능 향상이 가능할까?
• RQ2 체류 시간의 통합이 Rec@20 및 MRR@20와 같은 주요 추천 지표에 어떤 영향을 미치는가?
• RQ3 성능 향상 폭이 미미한 상황에서 단일 검증 분할이 초모수 선택에 있어 충분한가?
• RQ4 다수의 검증 세트를 포함한 폴드 기반 교차 검증 방식이 단일 분할 대비 더 강력하고 정확한 모델 선택을 가능하게 하는가?

주요 결과

• 제안된 DT-RNN 모델은 기준 모델인 IT-RNN 대비 통계적으로 유의미한 Rec@20 향상(유의수준 p < 0.01)을 보였으며, Rec@20는 68.73%에서 69.26%로 상승하였다.
• MRR@20 향상은 통계적으로 유의미하지 않아, 체류 시간은 주로 상위 20개 추천의 정확도를 향상시키며 순위 정밀도에는 영향을 주지 않는 것으로 나타났다.
• 단일 검증 분할을 사용할 경우 최적의 초모수 설정이 일관되게 도출되지 않아, 비최적의 초모수 선택이 발생하였다.
• 6개의 다른 검증 일자로 구성된 폴드 기반 방식을 사용한 결과, $dt\_rnn\_size=32$ 모델이 6개 분할 중 4개에서 $dt\_rnn\_size=8$ 모델보다 성능이 뛰어났다.
• 모든 6개 분할에 걸친 평균 Rec@20 역시 $dt\_rnn\_size=32$ 설정이 더 우수함을 확인하여, 강건한 평가 조건에서의 우월성을 입증하였다.
• 본 연구는 시간대별로 시간적 데이터 분포가 상당히 다를 수 있으며, 이는 세션 추천 작업에서 단일 분할 검증이 모델 선택에 있어 신뢰할 수 없음을 시사한다.