[論文レビュー] Apache Lucene as Content-Based-Filtering Recommender System: 3 Lessons Learned

Stefan Langer, Joeran Beel|arXiv (Cornell University)|Mar 26, 2017

Advanced Text Analysis Techniques参考文献 16被引用数 6

ひとこと要約

この論文は、学術的文献の文脈において、Apache Luceneをコンテンツベースフィルタリング推薦システムとして評価し、0.025以上の関連スコアがクリックストラックレートを著しく向上させること、上位10件の推薦が上位50件の結果からランダムに抽出した場合よりも優れていること、1,000件未塔の結果数ではユーザーの関与が低下することを示している。本研究は、検索ベースの推薦システムにおける推薦品質向上に向けた実用的知見を提供する。

ABSTRACT

For the past few years, we used Apache Lucene as recommendation frame-work in our scholarly-literature recommender system of the reference-management software Docear. In this paper, we share three lessons learned from our work with Lucene. First, recommendations with relevance scores below 0.025 tend to have significantly lower click-through rates than recommendations with relevance scores above 0.025. Second, by picking ten recommendations randomly from Lucene's top50 search results, click-through rate decreased by 15%, compared to recommending the top10 results. Third, the number of returned search results tend to predict how high click-through rates will be: when Lucene returns less than 1,000 search results, click-through rates tend to be around half as high as if 1,000+ results are returned.

研究の動機と目的

• 学術的文献の文脈において、Apache Luceneがコンテンツベースフィルタリング推薦システムとして効果的であるかを評価すること。
• 特に関連スコアと結果選択戦略に焦点を当て、Luceneベースの推薦におけるパフォーマンスを決定づける要因を同定すること。
• 返された検索結果の数が推薦設定におけるユーザーのクリックストラックレートに与える影響を理解すること。

提案手法

• 学術的文献のメタデータとクエリ用語をインデクスすることで、Apache Luceneを用いてコンテンツベースの推薦を生成した。
• 各文書について、ユーザーのクエリに対する関連スコアを、Luceneの標準スコアモデル（例：BM25）を用いて計算した。
• 関連スコアのしきい値、結果の抽出戦略、結果セットのサイズの違いによるクリックストラックレート（CTR）を評価した。
• 上位10件の推薦と、上位50件の結果からランダムに10件抽出した場合のCTRを比較し、選択戦略の影響を分析した。
• 返されたLucene検索結果の総数（例：1,000未塔 vs. 1,000以上）に基づくCTRの傾向を分析した。
• Docearのリファレンスマネジメントソフトウェアから収集したユーザーのインタラクションログを分析し、実世界での推薦パフォーマンスを測定した。

実験結果

リサーチクエスチョン

• RQ1 学術的文献推薦システムにおいて、Luceneの関連スコアが0.025未塔の場合、クリックストラックレートにどのような影響を与えるか？
• RQ2 Luceneの上位50件の結果からランダムに10件を抽出した場合、上位10件を直接選択する場合と比較してクリックストラックレートが低下するか？
• RQ3 Luceneが返す結果の総数（例：1,000未塔 vs. 1,000以上）が、推薦されたアイテムのクリックストラックレートに与える影響は何か？

主な発見

• 関連スコアが0.025未塔の推薦は、0.025以上のものと比較して著しく低いクリックストラックレートを示した。
• Luceneの上位50件の結果からランダムに10件を抽出した場合、上位10件を直接選択する場合と比較して、クリックストラックレートが15%低下した。
• Luceneが1,000件未塔の結果を返した場合、1,000件以上を返した場合と比較して、クリックストラックレートは約半減した。
• 返された検索結果の数は、クリックストラックレートの強力な予測要因であり、結果数が多いほどユーザーの関与が高くなる傾向があった。
• 上位10件の推薦戦略は、上位50件からランダムに抽出する戦略を上回ったことから、順位順序がユーザー行動に顕著な影響を与えることが示された。
• 関連スコアのしきい値が0.025未塔の場合は、低品質な提案をフィルタリングするための実用的なカットオフとして有効であることが示唆された。