[논문 리뷰] Modeling User Behaviour in Research Paper Recommendation System

Arpita Chaudhuri, Debasis Samanta외 1명|arXiv (Cornell University)|2021. 07. 16.

Recommender Systems and Techniques참고 문헌 4인용 수 4

한 줄 요약

이 논문은 LDA와 Word2Vec을 결합한 하이브리드 토픽 모델(HTM)을 제안하여 단어-토픽 분포의 확률적 특성과 어휘 간 의미적 상관관계를 동시에 포착함으로써 연구 논문의 주제를 정확하게 식별한다. 이어서, 클릭 이력으로부터 동적인 사용자 의도를 예측하기 위해 타임스탬프를 고려한 시간적 맥락을 갖춘 LSTM 기반 순차 모델을 사용하여 성능을 크게 향상시켰으며, 연구 논문 추천 과제에서 최신 기술들보다 뛰어난 성능을 보였다.

ABSTRACT

User intention which often changes dynamically is considered to be an important factor for modeling users in the design of recommendation systems. Recent studies are starting to focus on predicting user intention (what users want) beyond user preference (what users like). In this work, a user intention model is proposed based on deep sequential topic analysis. The model predicts a user's intention in terms of the topic of interest. The Hybrid Topic Model (HTM) comprising Latent Dirichlet Allocation (LDA) and Word2Vec is proposed to derive the topic of interest of users and the history of preferences. HTM finds the true topics of papers estimating word-topic distribution which includes syntactic and semantic correlations among words. Next, to model user intention, a Long Short Term Memory (LSTM) based sequential deep learning model is proposed. This model takes into account temporal context, namely the time difference between clicks of two consecutive papers seen by a user. Extensive experiments with the real-world research paper dataset indicate that the proposed approach significantly outperforms the state-of-the-art methods. Further, the proposed approach introduces a new road map to model a user activity suitable for the design of a research paper recommendation system.

연구 동기 및 목표

• 연구 논문 추천 시스템에서 정적 사용자 선호 모델의 한계를 해결하기 위해 동적인 사용자 의도를 모델링하고자 한다.
• 기존 토픽 모델인 LDA와 Word2Vec의 단점을 보완하기 위해 확률적 토픽 분포와 의미적 어휘 상관관계를 통합한 하이브리드 토픽 모델(HTM)을 개발하고자 한다.
• 시간 간격을 사용자 상호작용 간의 시간적 맥락 특성으로 삼아, 순차적 딥러닝 기법인 LSTM을 활용해 사용자 의도를 모델링하고자 한다.
• 실제 사용자 상호작용 데이터와 사용자 설문 조사를 통해 기존 검색 엔진 및 추천 시스템과의 비교 평가를 수행하고자 한다.
• 정적 사용자 선호를 넘어서 동적인 사용자 행동을 모델링할 수 있는 새로운 프레임워크를 연구 논문 추천 시스템에 구축하고자 한다.

제안 방법

• 잠재 디리클레 할당(LDA)을 이용한 토픽 분포와 Word2Vec을 활용한 의미적 및 문법적 어휘 상관관계를 포착하는 하이브리드 토픽 모델(HTM)을 제안한다.
• 단어-토픽 분포를 추정하여 어휘의 동시출현 빈도와 의미적 유사도를 반영함으로써 각 연구 논문의 진정한 토픽을 추론한다.
• 클릭 로그에서 클릭된 논문의 주제를 식별함으로써 사용자 선호도를 추출하고, 관심 주제 기반의 동적 사용자 프로필을 구성한다.
• 클릭 간 시간 간격을 시간적 맥락 특성으로 활용하여, 순차적 상호작용 기록에서 사용자 의도를 모델링하기 위해 장기적 단기 기억(LSTM) 네트워크를 적용한다.
• 과거 상호작용과 시간적 맥락을 기반으로 다음 관심 주제를 예측할 수 있도록 LSTM 모델을 훈련함으로써 단기 및 장기적 의도 모델링을 가능하게 한다.
• 사용자 의도 예측 결과를 추천 파이프라인에 통합하여, 각 세션 후 사용자 프로필을 업데이트하고 개인화된 추천을 생성한다.

실험 결과

연구 질문

• RQ1 LDA와 Word2Vec을 융합한 하이브리드 토픽 모델은 단독으로 사용되는 모델 대비 연구 논문의 주제 식별 정확도를 향상시키는가?
• RQ2 타임스탬프 간격을 포함한 시간적 맥락 정보를 통합할 경우, 순차적 추천 시스템에서 사용자 의도 예측 성능이 얼마나 향상되는가?
• RQ3 제안된 HTM-LSTM 모델은 Recall@10, Precision@10, MAP@10, CTR와 같은 사용자 중심 지표에서 최신 기술 기반 추천 시스템과 비교해 어떤가?
• RQ4 사용자가 '무엇을 원하는가'에 대한 동적 사용자 의도를 모델링하는 것이, 사용자가 '무엇을 좋아하는가'에 국한된 정적 사용자 선호도만 고려하는 것보다 더 나은 추천 성능을 낼 수 있는가?
• RQ5 순차적 주제 상호작용 모델링을 통해 제안된 프레임워크는 단기 및 장기적 사용자 관심사를 효과적으로 포착할 수 있는가?

주요 결과

• 제안된 하이브리드 토픽 모델(HTM)은 LDA와 Word2Vec을 개별적으로 사용한 경우보다 확률적 토픽 분포와 의미적 어휘 상관관계를 동시에 활용함으로써 연구 논문의 주제 분류 정확도에서 뛰어난 성능을 보였다.
• 타임스탬프를 고려한 LSTM 기반 사용자 의도 모델은 추천 성능을 크게 향상시켰으며, Recall@10는 0.72, CTR는 0.248를 기록하여 기준 모델들을 능가했다.
• 사용자 평가 결과, 제안된 모델은 Google Scholar, Microsoft Academic, Citeseer와 같은 주요 검색 엔진보다 사용자가 인식하는 관련성에서 뛰어난 성능을 보였으며, Recall@10와 CTR 모두 높았다.
• MAP@10는 0.52를 기록하여 랭킹 품질이 우수했으며, 다양한 연구 주제와 다수의 사용자 세션에 걸쳐 뛰어난 안정성을 확보했다.
• 순차적 클릭 이력과 시간적 맥락을 통합한 동적 의도 모델링은 정적 선호도 기반 모델 대비 핵심 지표에서 15–20% 향상된 성능을 기록했다.
• 사용자 설문 조사 결과, 참가자들은 기존 검색 엔진 대비 제안된 시스템의 추천 결과를 더 선호하였으며, 이는 실제 사용 환경에서의 효과성을 검증하였다.