[論文レビュー] Towards Effective Research-Paper Recommender Systems and User Modeling based on Mind Maps

Joeran Beel|arXiv (Cornell University)|Mar 27, 2017

Mind wandering and attention被引用数 17

ひとこと要約

本論文は、研究論文推薦システムにおけるユーザーモデリング手法を、Docearのマインドマップを入力として用いる新しい手法として提案する。ノード構造、関係性、時間的メタデータを分析することで、システムは7.20％のクリックスルーレートを達成し、最高のベースラインのほぼ2倍に達する。これは、マインドマップに基づくモデリングが、ダウンロード済みまたは引用済みの論文に基づくモデリングと同等に有効であることを示している。

ABSTRACT

While user-modeling and recommender systems successfully utilize items like emails, news, and movies, they widely neglect mind-maps as a source for user modeling. We consider this a serious shortcoming since we assume user modeling based on mind maps to be equally effective as user modeling based on other items. Hence, millions of mind-mapping users could benefit from user-modeling applications such as recommender systems. The objective of this doctoral thesis is to develop an effective user-modeling approach based on mind maps. To achieve this objective, we integrate a recommender system in our mind-mapping and reference-management software Docear. The recommender system builds user models based on the mind maps, and recommends research papers based on the user models. As part of our research, we identify several variables relating to mind-map-based user modeling, and evaluate the variables' impact on user-modeling effectiveness with an offline evaluation, a user study, and an online evaluation based on 430,893 recommendations displayed to 4,700 users. We find, among others, that the number of analyzed nodes, modification time, visibility of nodes, relations between nodes, and number of children and siblings of a node affect the effectiveness of user modeling. When all variables are combined in a favorable way, this novel approach achieves click-through rates of 7.20%, which is nearly twice as effective as the best baseline. In addition, we show that user modeling based on mind maps performs about as well as user modeling based on other items, namely the research articles users downloaded or cited. Our findings let us to conclude that user modeling based on mind maps is a promising research field, and that developers of mind-mapping applications should integrate recommender systems into their applications. Such systems could create additional value for millions of mind-mapping users.

研究の動機と目的

• 研究論文推薦を目的とした、マインドマップに基づく効果的なユーザーモデリング手法の開発。
• マインドマップの構造的および時間的変数がユーザーモデリングの有効性に与える影響の評価。
• ダウンロード済みまたは引用済みの論文に基づく従来の手法と比較して、マインドマップに基づくユーザーモデリングのパフォーマンスの評価。
• Docearに統合された推薦システムの構築。マインドマップデータを活用して、パーソナライズドな推薦を提供する。
• マインドマップに基づくユーザーモデリングが、既存の手法と同等に実用的かつ効果的であることを示すこと。

提案手法

• システムは、ノードの深さ、子ノード数、兄弟ノード数、ノードの可視性といった構造的特徴を用いて、Docearのマインドマップからユーザーモデルを抽出する。
• 変更日時や作成日時を含む時間的メタデータを統合し、ノードの新鮮さと関与度に基づいて重み付けを行う。
• ノード間の関係を分析することで、ユーザーユーザーの知識構造における意味的および概念的関係を捉える。
• これらの特徴を組み合わせたハイブリッド推薦アルゴリズムを用いて、ユーザーマインドマップ構造に基づくパーソナライズドな論文提案を生成する。
• 4,700人のユーザーデータを用いて430,893件の推薦を対象に、オフライン評価、ユーザースタディ、オンライン評価を実施し、有効性を評価した。
• パフォーマンスの比較に際して、クリックスルーレートを主な評価指標として用いた。

実験結果

リサーチクエスチョン

• RQ1 ノードの深さ、子ノード数、兄弟ノード数といったマインドマップの構造的特性が、ユーザーモデリングの有効性にどのように影響するか？
• RQ2 ノードの変更日時が、推薦システムにおけるユーザーモデリングの正確性にどの程度影響を及えるか？
• RQ3 ノードの可視性とノード間の関係的接続が、推薦の関連性にどのように影響するか？
• RQ4 マインドマップに基づくユーザーモデリングは、ダウンロード済みまたは引用済みの研究論文に基づくモデリングと同等のパフォーマンスを達成できるか？
• RQ5 どのようなマインドマップ特徴の組み合わせが、実世界の推薦設定において最高のクリックスルーレートをもたらすか？

主な発見

• 提案されたマインドマップベースのユーザーモデリング手法は、7.20％のクリックスルーレートを達成し、最高のベースライン手法のほぼ2倍に達した。
• 分析対象のノード数、変更日時、ノードの可視性、ノード間の関係性が、推薦の有効性に顕著な影響を与えた。
• ノードの子ノード数と兄弟ノード数が、ユーザーモデリング品質の強力な予測要因であることが判明した。
• マインドマップに基づくユーザーモデリングは、ダウンロード済みまたは引用済みの研究論文に基づくモデリングと、推薦有効性の観点で同等のパフォーマンスを示した。
• 構造的特徴と時間的特徴を適切に組み合わせた構成が最高のパフォーマンスをもたらし、本手法の堅牢性を裏付けた。
• 結果から、マインドマップベースのユーザーモデリングは、学術的文脈における推薦システムにおいて、実用的かつ効果的な代替手法であると示唆された。