[논문 리뷰] Content-Based Citation Recommendation

Chandra Bhagavatula, Sergey Feldman외 2명|arXiv (Cornell University)|2018. 02. 22.

Topic Modeling참고 문헌 20인용 수 12

한 줄 요약

이 논문은 저자나 회의와 같은 메타데이터에 의존하지 않고 문서 텍스트의 신경망 임베딩을 사용하여 관련 인용을 추천하는 컨텐츠 기반 인용 추천 시스템을 제안한다. 학습된 벡터 공간에서 가장 가까운 이웃을 먼저 선택한 후, 분류 모델을 사용해 재정렬함으로써, PubMed와 DBLP에서 최신 기술 수준을 초월하는 성능을 달성한다. F1@20에서 18% 이상, MRR에서 22% 이상 향상되었으며, 메타데이터가 누락된 경우에도 성능이 유지된다.

ABSTRACT

We present a content-based method for recommending citations in an academic paper draft. We embed a given query document into a vector space, then use its nearest neighbors as candidates, and rerank the candidates using a discriminative model trained to distinguish between observed and unobserved citations. Unlike previous work, our method does not require metadata such as author names which can be missing, e.g., during the peer review process. Without using metadata, our method outperforms the best reported results on PubMed and DBLP datasets with relative improvements of over 18% in F1@20 and over 22% in MRR. We show empirically that, although adding metadata improves the performance on standard metrics, it favors self-citations which are less useful in a citation recommendation setup. We release an online portal (http://labs.semanticscholar.org/citeomatic/) for citation recommendation based on our method, and a new dataset OpenCorpus of 7 million research articles to facilitate future research on this task.

연구 동기 및 목표

• 피어 리뷰나 초기 연구 단계와 같이 저자 이름, 회의명 등의 메타데이터가 누락된 상황에서 인용 추천 문제를 해결하기 위해.
• 새로운 문서가 코퍼스에 추가될 때 다시 학습이 필요하지 않은 확장 가능한, 컨텐츠 중심의 인용 추천 방법을 개발하기 위해.
• 메타데이터에 의존하는 기존 시스템의 문제를 개선하기 위해, 자가 인용에 대한 편향을 제거함으로써 성능을 향상시키기 위해.
• 향후 인용 추천 분야의 연구를 지원하기 위해 대규모 공개 데이터셋과 웹 기반 도구를 공개하기 위해.

제안 방법

• 모든 문서, 포함하여 쿼리 문서까지도, 제목과 초록만을 기반으로 한 신경망을 통해 학습된 텍스트 콘텐츠에 기반해 동일한 벡터 공간에 임베딩된다.
• 후보 인용문은 쿼리 문서와 후보 문서 간의 의미적 유사도를 기반으로 벡터 공간 내에서 k-최근접 이웃(KNN) 검색을 통해 선택된다.
• 쿼리-문서 쌍을 입력으로 사용하여, 관찰된 인용(양성 쌍)과 관찰되지 않은 인용 쌍(음성 쌍)을 구분하는 별도의 분류 모델이 훈련된다.
• 배치 기반 확률적 경사 하강법을 사용해 모델을 훈련함으로써, OpenCorpus와 같은 대규모 코퍼스에 효율적으로 스케일링할 수 있다.
• 시스템은 비전도적 설계를 갖추고 있어, 기존 모델을 다시 훈련하지 않고도 새로운 문서를 기존 벡터 공간에 임베딩할 수 있다.
• 최종 추천 목록은 분류 모델의 출력 확률을 사용해 후보들을 재정렬함으로써 생성된다.

실험 결과

연구 질문

• RQ1 메타데이터(예: 저자, 발표 장소 등)를 사용하지 않고 문서의 텍스트 콘텐츠만으로도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 메타데이터 없이도 성능이 우수한 컨텐츠 중심의 인용 추천 시스템은 메타데이터 기반 기준과 비교해 공정성과 자가 인용 편향 방지 측면에서 어떻게 성능을 내는가?
• RQ3 메타데이터를 추가하면 성능 향상이 이루어지나, 이는 바람직하지 않은 인용 편향을 유발하는가?
• RQ4 신경망 기반 접근 방식은 수백만 개의 문서를 포함한 대규모 인용 추천 작업에 효율적으로 스케일링 가능한가?
• RQ5 이전의 시스템이 사용한 정제된 또는 소규모 테스트 세트와 비교해, 제안된 방법은 대규모 실질적 데이터셋에서 어떻게 성능을 내는가?

주요 결과

• 제안된 컨텐츠 기반 방법은 메타데이터를 전혀 사용하지 않음에도 불구하고, PubMed와 DBLP에서 F1@20 기준 18% 이상, MRR 기준 22% 이상 향상된 최고의 보고된 성능을 달성한다.
• 메타데이터를 추가하면 표준 지표에서 성능 향상이 이루어지지만, 자가 인용에 대한 심각한 편향이 유발되며, 이는 인용 추천에 있어 바람직하지 않다.
• 메타데이터가 누락된 상황에서도 시스템은 강건하고 효과적이므로, 초기 연구 단계나 피어 리뷰 상황에 적합하다.
• 오직 텍스트 임베딩만을 사용해도 두 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성함으로써, 컨텐츠 기반 표현 학습의 효과성을 입증한다.
• 700만 개의 연구 논문으로 구성된 OpenCorpus 데이터셋의 공개는 이전 데이터셋의 한계(소규모, 과도한 정제 등)를 해결한다.
• 공개된 온라인 인용 추천 포털 citeomatic은 실시간으로 텍스트 기반 추천을 제공하며, 누구나 접근 가능하다.