[논문 리뷰] Large scale citation matching using Apache Hadoop

Mateusz Fedoryszak, Dominika Tkaczyk외 1명|arXiv (Cornell University)|2013. 03. 26.

Semantic Web and Ontologies참고 문헌 18인용 수 4

한 줄 요약

이 논문은 대규모 학술 데이터셋에서 인용 문자열을 참조하는 논문으로 효율적으로 매칭하기 위해 약간의 색인과 MapReduce를 사용하는 확장 가능한 인용 매칭 시스템을 Apache Hadoop 기반으로 제안한다. 토큰 기반 유사도, 트리그램 및 토큰 매칭, 그리고 고유한 색인을 사용한 히우리스틱 필터링 방법을 통해 1,200만 건의 인용 데이터셋에서 높은 성능을 달성하였으며, 4노드 클러스터에서 매칭 시간을 3시간 이내로 단축시켰다.

ABSTRACT

During the process of citation matching links from bibliography entries to referenced publications are created. Such links are indicators of topical similarity between linked texts, are used in assessing the impact of the referenced document and improve navigation in the user interfaces of digital libraries. In this paper we present a citation matching method and show how to scale it up to handle great amounts of data using appropriate indexing and a MapReduce paradigm in the Hadoop environment.

연구 동기 및 목표

• 수백만 건의 인용을 포함한 대규모 학술 데이터셋에 대한 인용 매칭을 확장 가능하게 처리하는 데 도전한다.
• Apache Hadoop와 MapReduce 프레임워크를 활용한 분산 솔루션을 설계하여 효율적인 인용 해결을 위한 확장 가능한 접근법을 제시한다.
• 정확도를 희생시키지 않은 채 히우리스틱 매칭을 가속화하는 약간의 색인 전략을 개발한다.
• 디지털 도서관, 과학적 분석, 지식 그래프 구축을 위한 대규모 인용 매칭을 가능하게 한다.

제안 방법

• 문자 클래스,标 punctuatio, 사전 검색, 이웃 토큰의 문맥을 포함한 총 42개의 특징을 사용한 조건부 랜덤 필드(CRF) 기반 인용 구문 분석.
• 저자, 제목, 저널, 연도 등의 메타데이터 필드 간의 트리그램 및 토큰 유사도를 Jaccard 기반의 유사도 측정 방법을 사용해 계산.
• 토큰 회전과 MapReduce를 활용한 약간의 색인을 통한 히우리스틱 매칭을 통해 각 인용에 대한 후보 문서를 신속하게 검색.
• Hadoop에서 색인을 저장하고 효율적으로 쿼리하기 위해 MapFile 구조를 사용하며, 정렬된 키와 빠른 랜덤 액세스를 지원.
• 이중 단계의 MapReduce 파이프라인을 구현: (1) 인용 추출 및 후보 검색, (2) SVM 및 문자열 메트릭을 사용한 유사도 스코어링 및 최적 매칭 선택.
• 색인 구축은 맵 태스크(토큰 추출 및 회전 생성)와 리듀스 태스크(토큰 기반 그룹화 및 SequenceFile에 영구 저장)를 통해 수행.

실험 결과

연구 질문

• RQ1 대규모 분산 환경에서 수백만 건의 인용을 효율적으로 처리하기 위해 인용 매칭을 어떻게 확장할 수 있는가?
• RQ2 정확도를 유지하면서도 신속한 약간의 매칭을 가능하게 하는 색인 전략은 무엇인가?
• RQ3 노이즈가 많고 이질적인 인용 문자열에 대해 메타데이터 구문 분석 및 유사도 계산을 어떻게 최적화할 수 있는가?
• RQ4 Hadoop의 MapReduce 모델을 활용할 경우 인용 매칭 워크로드에서 어떤 성능 향상 효과를 기대할 수 있는가?

주요 결과

• 시스템은 4노드 Hadoop 클러스터를 사용하여 PMC 오픈 액세스 서브셋의 1200만 건 이상의 인용을 성공적으로 처리하였다.
• 색인 구축은 57초 만에 완료되었으며, 13개의 맵 태스크와 2개의 리듀스 태스크를 통해 효율적인 병렬 처리를 보였다.
• 히우리스틱 매칭 단계는 745개의 맵 태스크를 통해 3시간 1초가 소요되었으며, 검색 공간을 크게 줄였다.
• 최적 매칭 선택 단계는 996개의 맵 태스크와 1개의 리듀스 태스크를 사용해 2시간 51분이 소요되었으며, 높은 정밀도 결과를 보장하였다.
• 전체 매칭 파이프라인이 3시간 이내에 완료되어 Hadoop를 활용한 대규모 인용 매칭의 실현 가능성을 입증하였다.
• 토큰 회전과 약간의 색인을 활용함으로써 높은 리콜을 유지하면서도 신속한 후보 문서 검색을 가능하게 하였다.