[논문 리뷰] Towards Effective Research-Paper Recommender Systems and User Modeling based on Mind Maps

Joeran Beel|arXiv (Cornell University)|2017. 03. 27.

Mind wandering and attentionNeuroscience인용 수 17

한 줄 요약

이 논문은 연구 논문 추천 시스템을 위한 새로운 사용자 모델링 기법을 제안하며, Docear의 마인드맵을 입력으로 사용한다. Docear의 마인드맵에서 노드 구조, 관계, 시간적 메타데이터를 분석함으로써 시스템은 7.20%의 클릭률을 달성하였으며, 이는 최고의 베이스라인보다 거의 두 배에 가까운 성능을 보였다. 이는 마인드맵 기반 모델링이 다운로드하거나 인용한 논문 기반 모델링만큼 효과적임을 시사한다.

ABSTRACT

While user-modeling and recommender systems successfully utilize items like emails, news, and movies, they widely neglect mind-maps as a source for user modeling. We consider this a serious shortcoming since we assume user modeling based on mind maps to be equally effective as user modeling based on other items. Hence, millions of mind-mapping users could benefit from user-modeling applications such as recommender systems. The objective of this doctoral thesis is to develop an effective user-modeling approach based on mind maps. To achieve this objective, we integrate a recommender system in our mind-mapping and reference-management software Docear. The recommender system builds user models based on the mind maps, and recommends research papers based on the user models. As part of our research, we identify several variables relating to mind-map-based user modeling, and evaluate the variables' impact on user-modeling effectiveness with an offline evaluation, a user study, and an online evaluation based on 430,893 recommendations displayed to 4,700 users. We find, among others, that the number of analyzed nodes, modification time, visibility of nodes, relations between nodes, and number of children and siblings of a node affect the effectiveness of user modeling. When all variables are combined in a favorable way, this novel approach achieves click-through rates of 7.20%, which is nearly twice as effective as the best baseline. In addition, we show that user modeling based on mind maps performs about as well as user modeling based on other items, namely the research articles users downloaded or cited. Our findings let us to conclude that user modeling based on mind maps is a promising research field, and that developers of mind-mapping applications should integrate recommender systems into their applications. Such systems could create additional value for millions of mind-mapping users.

연구 동기 및 목표

• 연구 논문 추천을 위한 마인드맵 기반 효과적인 사용자 모델링 기법 개발
• 마인드맵의 구조적 및 시간적 변수가 사용자 모델링 효과성에 미치는 영향 평가
• 다운로드하거나 인용한 논문 기반 기존 방법과 비교해 마인드맵 기반 사용자 모델링의 성능 평가
• Docear에 마인드맵 데이터를 활용해 개인화된 추천을 제공하는 추천 시스템 통합
• 마인드맵 기반 사용자 모델링이 기존 기법들과 비교해 타당하고 효과적인 대안임을 입증

제안 방법

• 시스템은 마인드맵의 구조적 특징, 예를 들어 노드의 깊이, 자식 수, 형제 수, 노드의 가시성 등을 사용해 사용자 모델을 추출한다.
• 수정 시간과 생성 시간과 같은 시간적 메타데이터를 통합하여 최근성과 참여도에 따라 노드의 가중치를 조정한다.
• 노드 간의 관계를 분석하여 사용자의 지식 구조 내의 의미적 및 개념적 관계를 포착한다.
• 이러한 특징을 융합한 하이브리드 추천 알고리즘을 통해 사용자 마인드맵 구조에 기반한 개인화된 논문 추천을 생성한다.
• 성능 평가를 위해 4,700명의 사용자 대상으로 총 430,893건의 추천을 수행한 오프라인, 사용자 실험, 온라인 평가를 실시하였다.
• 성능 비교를 위해 주요 평가 지표로 클릭률을 사용하였다.

실험 결과

연구 질문

• RQ1 노드의 깊이, 자식 수, 형제 수와 같은 마인드맵의 구조적 특성이 사용자 모델링 효과성에 미치는 영향은 무엇인가?
• RQ2 노드의 수정 시간이 추천 시스템 내 사용자 모델링 정확도에 얼마나 영향을 미치는가?
• RQ3 노드의 가시성과 노드 간의 관계 연결이 추천의 관련성에 어떻게 영향을 미치는가?
• RQ4 마인드맵 기반 사용자 모델링이 다운로드하거나 인용한 연구 논문 기반 모델링과 비교해 성능이 유사한가?
• RQ5 실세계 추천 환경에서 가장 높은 클릭률을 달성하는 데 가장 적합한 마인드맵 특성 조합은 무엇인가?

주요 결과

• 제안된 마인드맵 기반 사용자 모델링 기법은 7.20%의 클릭률을 달성하였으며, 이는 최고의 베이스라인 방법보다 거의 두 배에 가까운 성능을 보였다.
• 분석된 노드 수, 수정 시간, 노드의 가시성, 노드 간의 관계가 추천 효과성에 크게 기여하였다.
• 노드의 자식 수와 형제 수는 사용자 모델링 품질의 강력한 예측 변수로 확인되었다.
• 마인드맵 기반 사용자 모델링은 다운로드하거나 인용한 연구 논문 기반 모델링과 비교해 추천 효과성 측면에서 유사한 성능을 보였다.
• 구조적 특성과 시간적 특성을 유리한 구성으로 융합함으로써 최고의 성능이 달성되었으며, 이는 본 기법의 강건성을 입증하였다.
• 결과는 마인드맵 기반 사용자 모델링이 학술 환경의 추천 시스템에서 타당하고 효과적인 대안임을 시사한다.