[논문 리뷰] Use of Solr and Xapian in the Invenio document repository software

Patrick Glauner, J. Iwaszkiewicz외 2명|arXiv (Cornell University)|2013. 10. 01.

Research Data Management Practices참고 문헌 1인용 수 3

한 줄 요약

이 논문은 CERN에서 개발한 무료 디지털 라이브러리 소프트웨어 슈트인 Invenio에 Apache Solr와 Xapian 검색 엔진을 통합하는 것을 제시한다. 일반화된 브리지 기반으로 Invenio는 풀텍스트 콘텐츠와 메타데이터를 Solr에 색인하여 고급 유사도 알고리즘을 통해 검색 효율성과 순위를 향상시키며, 동시에 대규모 레포지토리 환경에서 Solr의 성능을 Xapian 기반 대안과 비교한다.

ABSTRACT

Invenio is a free comprehensive web-based document repository and digital library software suite originally developed at CERN. It can serve a variety of use cases from an institutional repository or digital library to a web journal. In order to fully use full-text documents for efficient search and ranking, Solr was integrated into Invenio through a generic bridge. Solr indexes extracted full-texts and most relevant metadata. Consequently, Invenio takes advantage of Solr's efficient search and word similarity ranking capabilities. In this paper, we first give an overview of Invenio, its capabilities and features. We then present our open source Solr integration as well as scalability challenges that arose for an Invenio-based multi-million record repository: the CERN Document Server. We also compare our Solr adapter to an alternative Xapian adapter using the same generic bridge. Both integrations are distributed with the Invenio package and ready to be used by the institutions using or adopting Invenio.

연구 동기 및 목표

• 고성능 검색 엔진을 통합하여 Invenio, 디지털 라이브러리 소프트웨어 슈트의 풀텍스트 검색 기능을 향상시키기 위해.
• CERN 문서 서버와 같은 다수 백만 건의 레코드를 포함한 레포지토리에서의 색인 및 쿼리 처리의 확장성 도전 과제를 해결하기 위해.
• 동일한 일반화된 색인 브리지에서 사용된 Solr와 Xapian의 성능 및 효율성을 비교하기 위해.
• 기관이 배포할 수 있도록 생산 준비 완료된 오픈소스 형태로 Solr 및 Xapian 통합을 Invenio 소프트웨어 패키지의 일부로 제공하기 위해.

제안 방법

• Invenio의 문서 색인 로직을 기반 검색 엔진에서 분리하기 위해 일반화된 브리지 컴ponent 개발.
• Solr 통합을 구현하여 풀텍스트 콘텐츠와 메타데이터를 색인하고, Solr의 고급 텍스트 분석 및 순위 매기기 기능을 활용하기 위해.
• 동일한 일반화된 브리지가 Xapian을 지원하도록 적응하여 동일한 색인 및 검색 작업을 가능하게 하기 위해.
• 대규모 Invenio 기반 레포지토리인 CERN 문서 서버에서 Solr 및 Xapian 통합의 배포 및 평가를 수행하기 위해.
• 기관이 코드 변경을 최소화하고 Solr 및 Xapian 간 전환을 가능하게 하기 위해 표준화된 API 및 구성 사용하기 위해.
• 실제 워크로드에서 수백만 건의 문서를 처리하는 환경에서 검색 성능, 색인 처리량, 확장성 평가하기 위해.

실험 결과

연구 질문

• RQ1 대규모 디지털 레포지토리인 Invenio에서 풀텍스트 검색 및 순위 매기기 기능을 효과적으로 향상시키는 방법은 무엇인가?
• RQ2 기관 레포지토리 환경에서 Solr과 Xapian을 사용할 경우의 성능 및 확장성 상호 간의 트레이드오프는 무엇인가?
• RQ3 고성능과 확장성을 유지하면서도 여러 검색 엔진을 지원할 수 있는 일반화된 색인 브리지 아키텍처를 설계할 수 있는가?
• RQ4 생산 규모의 Invenio 배포 환경에서 Solr과 Xapian의 색인 속도, 쿼리 응답 시간, 자원 활용도 측면에서의 비교는 어떻게 되는가?
• RQ5 백만 건 이상의 문서를 포함한 레포지토리에서 풀텍스트 검색을 확장하기 위한 주요 과제는 무엇이며, 현대적 검색 엔진을 통해 이를 어떻게 완화할 수 있는가?

주요 결과

• Solr 통합은 Solr의 고급 단어 유사도 및 관련성 점수 알고리즘을 활용하여 검색 효율성과 순위 품질을 크게 향상시켰다.
• 일반화된 브리지 아키텍처는 색인 로직을 검색 엔진에서 분리하여 Solr 및 Xapian 모두에 대한 원활한 지원을 가능하게 했다.
• CERN 문서 서버 워크로드에서 복잡한 쿼리 처리 및 대규모 풀텍스트 색인 처리에서 Solr가 Xapian보다 뛰어난 성능을 보였다.
• Xapian 어댑터는 소규모 또는 자원 제약이 있는 배포에 적합한 가벼운 대안을 제공했다.
• 양측 통합은 성공적으로 배포되었으며 Invenio 소프트웨어 패키지와 함께 제공되어 기관이 즉시 도입할 수 있게 되었다.
• CERN 문서 서버의 확장성 과제는 최적화된 색인 파이프라인과 분산 Solr 구성으로 완화되었다.