[論文レビュー] Real-World Recommender Systems for Academia: The Pain and Gain in Building, Operating, and Researching them [Long Version]

Joeran Beel, Siddharth Dinesh|arXiv (Cornell University)|Apr 1, 2017

Recommender Systems and Techniques参考文献 28被引用数 3

ひとこと要約

本論文は、6年間の経験に基づき、デジタル図書館やリファレンスマネージャーに統合された研究論文用レコメンデーションシステムの構築・運用・研究に関する、反省的分析を提示している。著者たちは、再現不可能な結果、データ品質の悪さ、A/Bテストの難しさといった課題を強調しつつ、学術文献と実際の実装との間のギャップを指摘し、今後の研究に向けたスキル、評価手法、データセットの有用性に関する知見を共有している。

ABSTRACT

Research on recommender systems is a challenging task, as is building and operating such systems. Major challenges include non-reproducible research results, dealing with noisy data, and answering many questions such as how many recommendations to display, how often, and, of course, how to generate recommendations most effectively. In the past six years, we built three research-article recommender systems for digital libraries and reference managers, and conducted research on these systems. In this paper, we share some experiences we made during that time. Among others, we discuss the required skills to build recommender systems, and why the literature provides little help in identifying promising recommendation approaches. We explain the challenge in creating a randomization engine to run A/B tests, and how low data quality impacts the calculation of bibliometrics. We further discuss why several of our experiments delivered disappointing results, and provide statistics on how many researchers showed interest in our recommendation dataset.

研究の動機と目的

• 学術的デジタル図書館における実世界のレコメンデーションシステムを構築・運用する過程で生じた実務的課題を文書化すること。
• 理論的レコメンデーションシステム研究と実世界の展開との間のギャップを特定すること、特にデータ品質、再現可能性、実験設計の面で。
• 生産環境向けレコメンデーションシステムを構築しようとする研究者に向けた、実用的な知見を提供すること、具体的には必須のスキル、評価手法、システム設計に関する知見。
• 今後の再現可能な研究を支援するため、公開可能なレコメンデーションデータセットを共有すること。

提案手法

• デジタル図書館およびリファレンスマネージャーに統合された、3つの研究論文用レコメンデーションシステムの開発およびデプロイ。
• レコメンデーション戦略の評価を支援するためのランダマイゼーションエンジンの実装。
• 標準的な文献計測指標の適用と、データ品質がその信頼性に与える影響の分析。
• 実世界のユーザー行動ログの活用によるレコメンデーションの有効性およびユーザー参加度の評価。
• レコメンデーション戦略の最適化に役立てるための、ユーザー行動の体系的ログ記録と分析。
• システムから得た包括的なデータセットの公開により、再現可能な研究を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学術的環境における実世界のレコメンデーションシステムを構築・運用する際、どのような実務的課題が生じるか？
• RQ2 なぜ多くのレコメンデーションシステムの実験的結果が再現不可能になるのか、その根本的原因は何か？
• RQ3 低品質なデータが文献計測指標の計算およびレコメンデーション評価にどのように影響を及えるか？
• RQ4 学術的レコメンデーションシステムの成功した展開に不可欠なスキルとシステム設計上の考慮事項は何か？
• RQ5 研究者が公開されたレコメンデーションデータセットにどれほど関心を示すか？

主な発見

• 文献は、効果的なレコメンデーションアプローチの選定に関する実務的ガイダンスをほとんど提供していないため、研究者は試行錯誤に頼らざるを得ない。
• 不一致なデータ処理、不十分なログ記録、標準化された評価プロトコルの欠如により、再現不可能な結果が頻発した。
• データ品質の問題が、文献計測指標の計算に顕著に影響を与え、信頼性の低いパフォーマンス指標を生じさせた。
• A/Bテスト用の堅牢なランダマイゼーションエンジンの構築は、予想以上に複雑で、特に高負荷の本番環境では顕著だった。
• 大規模なレコメンデーションデータセットが提供されていたにもかかわらず、その一部にしか研究者が関心を示さなかった。
• 著者たちは、実際の展開にはアルゴリズム設計以上のスキル、特にシステム工学、ログ記録、監視の専門知識が求められることを観察した。