[논문 리뷰] ExpertSeer: a Keyphrase Based Expert Recommender for Digital Libraries

Hung‐Hsuan Chen, Alexander G. Ororbia외 1명|arXiv (Cornell University)|2015. 11. 06.

Advanced Text Analysis Techniques참고 문헌 1인용 수 23

한 줄 요약

ExpertSeer는 디지털 도서관에서 전문가 추천을 위한 오픈소스이자 도메인 독립적인 프레임워크로, 핵심어 추출과 베이지안 순위 매기기를 사용하여 문서 내용과 인용 품질을 바탕으로 전문가를 식별한다. 벤치마크 데이터셋에서 Microsoft Academic\textasciacute{}와 ArnetMiner보다 Precision-at-k (k=3,5,10)에서 뛰어난 성능을 보이며, 컴퓨터 과학 및 화학 분야에서 관련 전문가를 추천하는 데 있어 뛰어난 정확도를 입증한다.

ABSTRACT

We describe ExpertSeer, a generic framework for expert recommendation based on the contents of a digital library. Given a query term q, ExpertSeer recommends experts of q by retrieving authors who published relevant papers determined by related keyphrases and the quality of papers. The system is based on a simple yet effective keyphrase extractor and the Bayes' rule for expert recommendation. ExpertSeer is domain independent and can be applied to different disciplines and applications since the system is automated and not tailored to a specific discipline. Digital library providers can employ the system to enrich their services and organizations can discover experts of interest within an organization. To demonstrate the power of ExpertSeer, we apply the framework to build two expert recommender systems. The first, CSSeer, utilizes the CiteSeerX digital library to recommend experts primarily in computer science. The second, ChemSeer, uses publicly available documents from the Royal Society of Chemistry (RSC) to recommend experts in chemistry. Using one thousand computer science terms as benchmark queries, we compared the top-n experts (n=3, 5, 10) returned by CSSeer to two other expert recommenders -- Microsoft Academic Search and ArnetMiner -- and a simulator that imitates the ranking function of Google Scholar. Although CSSeer, Microsoft Academic Search, and ArnetMiner mostly return prestigious researchers who published several papers related to the query term, it was found that different expert recommenders return moderately different recommendations. To further study their performance, we obtained a widely used benchmark dataset as the ground truth for comparison. The results show that our system outperforms Microsoft Academic Search and ArnetMiner in terms of Precision-at-k (P@k) for k=3, 5, 10. We also conducted several case studies to validate the usefulness of our system.

연구 동기 및 목표

• 수동 코딩 없이도 확장 가능하고 자동화된 디지털 도서관 내 전문가 추천의 과제를 해결하기 위해.
• 문서 내용과 인용 데이터를 활용하여 도메인 독립적인 프레임워크를 개발하여 전문가 탐색을 가능하게 하기 위해.
• 핵심어 추출과 베이지안 추론을 통합하여 관련성 및 권위 스코어링을 통해 추천 정확도를 향상시키기 위해.
• CSSeer(컴퓨터 과학)와 ChemSeer(화학)와 같은 도메인별 구현을 통해 프레임워크의 효과성을 입증하기 위해.
• 디지털 도서관 제공자 및 조직이 맞춤형 전문가 추천 시스템을 구축할 수 있도록 공개된 오픈소스 시스템을 제공하기 위해.

제안 방법

• 간단하고 효과적인 핵심어 추출 방법을 사용하여 문서 제목과 초록에서 핵심어를 추출한다.
• 위키피디아를 어휘 자원으로 활용하여 관련 핵심어를 식별하고 편집하여 동의어 및 의미적 확장을 수행한다.
• 베이즈의 정리를 적용하여 문서 관련성과 저자 권위 스코어를 조합하여 전문가 순위를 매긴다.
• 전문가 추천을 확률적 추론 문제로 모델링하며, 관련성과 인용 기반 권위를 베이지안 원칙을 사용해 가중치를 부여한다.
• 인용 데이터와 출판 품질을 통합하여 특정 도메인 내에서 저자의 전문성과 영향력을 평가한다.
• 동일한 프레임워크를 사용하여 확장성과 성능을 검증하기 위해 도메인별 추천 시스템(CSSeer 및 ChemSeer)을 구축한다.

실험 결과

연구 질문

• RQ1 기존 최첨단 시스템과 비교했을 때 핵심어 기반 접근 방식의 전문가 추천 효과성은 어떠한가?
• RQ2 다양한 전문가 추천 시스템이 동일한 쿼리어를 사용했을 때 얼마나 다른 추천 결과를 내는가?
• RQ3 학술 문서 분석에서 핵심어 후보 생성에 있어 위키피디아가 신뢰할 수 있는 자원이 될 수 있는가?
• RQ4 베이즈의 정리를 통해 관련성과 권위를 통합함으로써 추천 정밀도는 어떻게 향상되는가?
• RQ5 이 프레임워크는 컴퓨터 과학 및 화학과 같은 다양한 도메인으로 일반화될 수 있는가?

주요 결과

• ExpertSeer는 널리 사용되는 벤치마크 데이터셋에서 Microsoft Academic\textasciacute{}와 ArnetMiner보다 Precision-at-k (k=3,5,10)에서 뛰어난 성능을 보이며, 뛰어난 추천 정확도를 입증한다.
• 시스템은 높은 핵심어 추출 정확도를 달성하여 CiteSeerX 컬렉션의 95퍼센트 이상의 문서에 의미 있는 핵심어를 할당했다.
• Microsoft Academic과 ArnetMiner를 포함한 다양한 전문가 추천 시스템은 동일한 쿼리어를 사용했을 때 중간 정도로 다른 전문가 목록을 도출하여, 그들의 순위 함수에 내재된 편향이 있음을 시사한다.
• Google Scholar의 순위를 모방하는 시뮬레이션 시스템 GS*는 저자의 관련 연구 분야와 관련성이 낮은 분야를 구분하지 못해 성능이 열악했다.
• ExpertSeer가 생성한 관련 핵심어 목록은 사용자가 의미적으로 관련된 용어로 쿼리를 확장함으로써 보다 포괄적인 전문가 목록을 작성하는 데 도움을 준다.
• ExpertSeer는 확장 가능하고 효율적이며, 수백만 개의 문서와 저자를 처리할 수 있으며, 내부 조직 또는 디지털 도서관 사용을 위해 배포할 수 있다.