[논문 리뷰] Apache Lucene as Content-Based-Filtering Recommender System: 3 Lessons Learned

Stefan Langer, Joeran Beel|arXiv (Cornell University)|2017. 03. 26.

Advanced Text Analysis Techniques참고 문헌 16인용 수 6

한 줄 요약

이 논문은 학술 문헌 맥락에서 콘텐츠 기반 필터링 추천 시스템으로서 Apache Lucene의 성능을 평가하며, 관련성 점수 0.025 초과 시 클릭률이 유의미하게 향상되며, 상위 10개 추천이 상위 50개 결과에서 무작위로 추출한 것보다 우수하고, 결과 수가 1,000개 이하일 경우 사용자 참여도가 감소하는 것으로 나타났다. 본 연구는 검색 기반 추천 시스템의 추천 품질 향상에 실질적인 통찰을 제공한다.

ABSTRACT

For the past few years, we used Apache Lucene as recommendation frame-work in our scholarly-literature recommender system of the reference-management software Docear. In this paper, we share three lessons learned from our work with Lucene. First, recommendations with relevance scores below 0.025 tend to have significantly lower click-through rates than recommendations with relevance scores above 0.025. Second, by picking ten recommendations randomly from Lucene's top50 search results, click-through rate decreased by 15%, compared to recommending the top10 results. Third, the number of returned search results tend to predict how high click-through rates will be: when Lucene returns less than 1,000 search results, click-through rates tend to be around half as high as if 1,000+ results are returned.

연구 동기 및 목표

• 학술 문헌 맥락에서 Apache Lucene가 콘텐츠 기반 필터링 추천 시스템으로서의 효과성을 평가하는 것.
• 특히 관련성 점수와 결과 선택 전략에 따라 결정되는 성능 요인을 규명하는 것.
• 반환된 검색 결과 수가 추천 환경에서 사용자 클릭률에 미치는 영향을 이해하는 것.

제안 방법

• 학술 문헌 메타데이터와 쿼리어휘를 인덱싱하여 Apache Lucene를 사용해 콘텐츠 기반 추천을 생성함.
• 각 문서에 대해 사용자 쿼리에 대한 관련성 점수를 Lucene의 표준 점수 모델(예: BM25)을 사용해 계산함.
• 다양한 추천 구성(관련성 임계값, 결과 샘플링 전략, 결과 세트 크기)에 대해 클릭률(CTR)을 평가함.
• 상위 10개 추천과 Lucene의 상위 50개 결과에서 무작위로 10개를 추출한 결과의 클릭률을 비교하여 선택 전략의 영향을 분석함.
• 반환된 Lucene 검색 결과 총수(예: 1,000 미만 대비 1,000 이상)에 따른 클릭률 추세를 분석함.
• Docear의 참조 관리 소프트웨어에서 수집한 사용자 상호작용 로그를 분석하여 실제 환경에서의 추천 성능를 측정함.

실험 결과

연구 질문

• RQ1 학술 문헌 추천 시스템에서 Lucene 관련성 점수가 0.025 이하일 경우 클릭률에 어떤 영향을 미치는가?
• RQ2 Lucene의 상위 50개 결과에서 무작위로 10개를 추출한 것이 상위 10개 결과를 선택하는 것보다 클릭률을 낮출까?
• RQ3 Lucene 검색 결과 총수(예: 1,000 미만 대비 1,000 이상)가 추천 항목의 클릭률에 어떤 영향을 미치는가?

주요 결과

• 관련성 점수가 0.025 이하인 추천은 0.025 초과인 추천보다 유의미하게 낮은 클릭률을 보였다.
• Lucene의 상위 50개 결과에서 무작위로 10개를 추출한 경우, 상위 10개 결과를 선택한 것 대비 클릭률이 15% 감소했다.
• Lucene가 1,000개 이하의 결과를 반환한 경우, 1,000개 이상을 반환한 경우에 비해 클릭률이 약 절반 수준이었다.
• 반환된 검색 결과 수는 클릭률의 강력한 예측 변수였으며, 결과 수가 많을수록 사용자 참여도가 높아지는 경향을 보였다.
• 상위 10개 추천 전략은 상위 50개에서의 무작위 샘플링보다 우수했으며, 이는 순위 순서가 사용자 행동에 상당한 영향을 미친다는 것을 시사한다.
• 관련성 점수 임계값이 0.025 이하인 경우는 낮은 품질의 추천 제안과 관련이 있었으며, 이는 낮은 품질의 제안을 걸러내는 실용적 기준이 될 수 있음을 시사한다.