[논문 리뷰] Using Rank Aggregation for Expert Search in Academic Digital Libraries

Catarina Moreira, Bruno Martins외 1명|arXiv (Cornell University)|2015. 01. 21.

Expert finding and Q&A systems참고 문헌 27인용 수 12

한 줄 요약

이 논문은 학술 디지털 라이브러리 내 텍스트 콘텐츠, 인용 네트워크, 전문가 프로필에서 유래한 다수의 전문성 평가 기준을 결합하기 위해 비지도 순위 집계(특히 CombSUM 및 CombMNZ)를 제안한다. 컴퓨터 과학 데이터셋에서의 실험 결과, CombMNZ는 MAP 0.5832를 기록하여 개별 특징 집합을 뛰어나며, 지도 학습 방법과 경쟁 수준에 도달하여 레이블이 없는 관련성 데이터가 없는 전문가 검색에 대해 체계적인 집계의 효과성을 입증한다.

ABSTRACT

The task of expert finding has been getting increasing attention in information retrieval literature. However, the current state-of-the-art is still lacking in principled approaches for combining different sources of evidence. This paper explores the usage of unsupervised rank aggregation methods as a principled approach for combining multiple estimators of expertise, derived from the textual contents, from the graph-structure of the citation patterns for the community of experts, and from profile information about the experts. We specifically experimented two unsupervised rank aggregation approaches well known in the information retrieval literature, namely CombSUM and CombMNZ. Experiments made over a dataset of academic publications for the area of Computer Science attest for the adequacy of these methods.

연구 동기 및 목표

• 전문가 검색에서 다양한 증거 자료를 체계적으로 통합할 수 있는 방법의 부족을 해결하기 위해.
• 비지도 순위 집계가 텍스트, 구조적, 프로필 기반 전문성 평가 기준을 효과적으로 통합할 수 있는지 평가하기 위해.
• CombSUM 및 CombMNZ의 성능을 학술 전문가 검색에서 평가하며, 특히 관련성 레이블이 없는 환경에서의 성능을 분석하기 위해.
• 검색 효율성 측면에서 비지도 집계와 지도 학습-랭킹 접근법을 비교하기 위해.
• 텍스트, 네트워크, 프로필 유형의 각 특징이 전문가 순위 품질에 기여하는 상대적 기여도를 평가하기 위해.

제안 방법

• 정보 검색 분야에서 잘 알려진 두 가지 비지도 순위 집계 방법인 CombSUM 및 CombMNZ를 사용한다.
• 다양한 전문성 평가 기준을 생성한다: 텍스트 유사도(질의-문서), 네트워크 중심성(인용/공인용 그래프), 프로필 기반 특징(예: H-지수, 논문 수 등).
• 각 평가 기준에서 도출된 개별 순위 목록을 통합하여 단일 통합 순위로 통합하기 위해 순위 집계를 적용한다.
• 표준 정보 검색 평가 지표인 P@k 및 MAP를 사용하며, 관련성은 논문 내 전문가-주제 공존 빈도로 정의한다.
• DBLP 메타데이터 및 인용 링크를 포함한 컴퓨터 과학 분야의 학술 논문 데이터셋을 사용한다.
• 특징 집합 조합을 평가하여 기여도를 분석하기 위해 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 비지도 순위 집계는 학술 전문가 검색에서 텍스트, 네트워크 구조, 프로필에서 유래한 다양한 전문성 평가 기준을 효과적으로 통합할 수 있는가?
• RQ2 다양한 전문성 신호를 집계할 때 CombSUM과 CombMNZ의 성능는 어떻게 비교되는가?
• RQ3 텍스트, 네트워크, 프로필 중 어떤 특징 유형이 전문가 순위 품질에 가장 크게 기여하는가?
• RQ4 비지도 집계는 관련성 레이블이 없는 환경에서 지도 학습-랭킹 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 P@k 및 MAP로 측정된 검색 효율성에서, 다양한 특징 집합을 조합했을 때의 영향은 어떠한가?

주요 결과

• CombMNZ는 CombSUM를 능가하여 MAP 0.5832를 기록하였으며, 이는 개별 특징 집합의 성능을 초월하고 지도 학습 방법과 경쟁 수준에 도달하였다.
• 네트워크 특징만으로도 가장 높은 성능(MAP = 0.5990)을 기록하여, 인용 및 공인용 패턴이 전문성의 강력한 지표임을 시사한다.
• 텍스트 유사도 특징만으로는 가장 낮은 성능(MAP = 0.5538)을 보였으며, 이는 콘텐츠만으로는 정확한 전문가 식별에 부족함을 시사한다.
• 프로필 및 네트워크 특징의 조합은 MAP 0.5986을 기록하여 두 특징 간 강력한 상호보완성이 있음을 나타낸다.
• 모든 특징(텍스트, 프로필, 네트워크)을 통합한 전체 모델은 MAP 0.5832를 달성하여 다양한 증거 자료 통합의 이점을 입증한다.
• 레이블이 없는 관련성 데이터가 없는 비지도 접근법이 양 등에 의해 제시된 지도 학습 방법(MAP = 0.6356)과 비교해도 경쟁 가능한 성능을 달성하였다.