[論文レビュー] Profiling vs. Time vs. Content: What does Matter for Top-k Publication Recommendation based on Twitter Profiles? - An Extended Technical Report

Chifumi Nishioka, Ansgar Scherp|arXiv (Cornell University)|Mar 22, 2016

Recommender Systems and Techniques参考文献 33被引用数 14

ひとこと要約

本研究では、Twitterプロフィールを用いたtop-k科学的論文推薦において、プロファイリング手法、時間的減衰、コンテンツの豊かさの3つの主要要因を評価する。CF-IDFにスライディングウィンドウと本文を組み合わせた手法が最高のパフォーマンスを示したが、HCF-IDFは本文ではなくタイトルのみを用いても同等の結果を達成しており、スパースデータ環境においても有効である。

ABSTRACT

So far it is unclear how different factors of a scientific publication recommender system based on users' tweets have an influence on the recommendation performance. We examine three different factors, namely profiling method, temporal decay, and richness of content. Regarding profiling, we compare CF-IDF that replaces terms in TF-IDF by semantic concepts, HCF-IDF as novel hierarchical variant of CF-IDF, and topic modeling. As temporal decay functions, we apply sliding window and exponential decay. In terms of the richness of content, we compare recommendations using both full-texts and titles of publications and using only titles. Overall, the three factors make twelve recommendation strategies. We have conducted an online experiment with 123 participants and compared the strategies in a within-group design. The best recommendations are achieved by the strategy combining CF-IDF, sliding window, and with full-texts. However, the strategies using the novel HCF-IDF profiling method achieve similar results with just using the titles of the publications. Therefore, HCF-IDF can make recommendations when only short and sparse data is available.

研究の動機と目的

• 異なるプロファイリング手法が、Twitterベースの科学的論文推薦における推薦パフォーマンスに与える影響を調査すること。
• スライディングウィンドウと指数関数的減衰の2つの時間的減衰関数が、推薦精度に与える影響を比較すること。
• 本文ではなく論文のタイトルのみを用いることで、推薦品質にどのような影響が生じるかを評価すること。
• top-k論文推薦における、プロファイリング、減衰、コンテンツ戦略の最適な組み合わせを特定すること。
• さまざまなユーザーの属性（例：学術的レベル、職業タイプ）における推薦戦略のロバストネスを評価すること。

提案手法

• 知識ベースからの概念頻度に置き換えた語句を用いるCF-IDF（TF-IDFの意味的拡張）を採用。
• 分野特化の分類体系を用いて拡散活性を適用することで、暗黙の意味的コンセプトを推定する、HCF-IDFという新しい階層的変種を提案。
• 比較のためのベースラインとして、トピックモデリングにLDA（Latent Dirichlet Allocation）を実装。
• 2種類の時間的減衰関数を適用：スライディングウィンドウ（時間による切り捨て）と指数関数的減衰（時間減衰による重み付け）。
• 候補アイテムのプロファイリングに、論文の本文とタイトルの両方をコンテンツソースとして使用。
• 123名の参加者を対象とした被験者内オンライン実験を実施し、ランクスコアおよび標準的な情報検索指標（MAP、MRR、nDCG）を用いてパフォーマンスを測定。

実験結果

リサーチクエスチョン

• RQ1 CF-IDF、HCF-IDF、LDAという異なるプロファイリング手法が、Twitterプロフィールに基づくtop-k論文推薦のパフォーマンスに与える影響は何か？
• RQ2 スライディングウィンドウと指数関数的減衰のどちらが、時間経過に伴う推薦精度により大きな影響を与えるか？
• RQ3 本文ではなく論文のタイトルのみを用いることで、推薦パフォーマンスがどの程度低下するか？
• RQ4 プロファイリング手法、減衰関数、コンテンツ豊かさのどの組み合わせが、最高の推薦パフォーマンスを達成するか？
• RQ5 ユーザーの属性（学術的レベル、専攻、経験年数、職業タイプ）が、推薦戦略の有効性にどのように影響を及げるか？

主な発見

• CF-IDF、スライディングウィンドウ減衰、本文コンテンツを組み合わせた戦略が、全体的な推薦パフォーマンスで最高を記録した。
• HCF-IDFは、論文のタイトルのみを用いても、CF-IDFに本文を用いた場合と同等のパフォーマンスを達成しており、強力な意味的推論能力を示している。
• HCF-IDFを用いたタイトルのみの戦略と、CF-IDFを用いた本文を用いた戦略との間に有意差は認められず、HCF-IDFがコンテンツスパarsityを効果的に補っていることが示唆された。
• 学士号取得者による評価では、講師・准教授以上の称号を持つ参加者よりも、推薦された論文をより興味深いと評価しており、評価にデモグラフィックバイアスが存在する可能性がある。
• 専攻、職業的経験年数、職業タイプに顕著な影響は認められず、ユーザーのグループ全体にわたり戦略のロバストネスが確認された。
• 戦略要因はパフォーマンスに顕著な影響を及ぼした（F = 16.02, p < .01）が、デモグラフィック要因との相互作用は有意ではなかった。ただし、学術的学位を除く。