[論文レビュー] Use of Solr and Xapian in the Invenio document repository software

Patrick Glauner, J. Iwaszkiewicz+2 more|arXiv (Cornell University)|Oct 1, 2013

Research Data Management Practices参考文献 1被引用数 3

ひとこと要約

本論文では、CERNで開発された無料のデジタル図書館ソフトウェアスイートであるInvenioに、Apache SolrおよびXapian検索エンジンを統合する手法を提示する。汎用ブリッジを活用することで、Invenioは全文コンテンツおよびメタデータをSolrにインデックス化し、高度な類似度アルゴリズムを用いて検索効率とランク付けの質を向上させる。同時に、大規模リポジトリ環境下でのSolrとXapianベースの代替手法の性能を比較する。

ABSTRACT

Invenio is a free comprehensive web-based document repository and digital library software suite originally developed at CERN. It can serve a variety of use cases from an institutional repository or digital library to a web journal. In order to fully use full-text documents for efficient search and ranking, Solr was integrated into Invenio through a generic bridge. Solr indexes extracted full-texts and most relevant metadata. Consequently, Invenio takes advantage of Solr's efficient search and word similarity ranking capabilities. In this paper, we first give an overview of Invenio, its capabilities and features. We then present our open source Solr integration as well as scalability challenges that arose for an Invenio-based multi-million record repository: the CERN Document Server. We also compare our Solr adapter to an alternative Xapian adapter using the same generic bridge. Both integrations are distributed with the Invenio package and ready to be used by the institutions using or adopting Invenio.

研究の動機と目的

• 高パフォーマンスな検索エンジンを統合することで、デジタル図書館ソフトウェアスイートであるInvenioのフルテキスト検索機能を強化すること。
• CERNドキュメントサーバーのような、数百万件のレコードを含むリポジトリにおけるインデックス作成およびクエリ処理のスケーラビリティ課題を解決すること。
• 同じ汎用インデックスブリッジを用いた場合に、SolrとXapianのパフォーマンスおよび効率性を比較すること。
• 機関での導入を想定した、生産環境対応のオープンソース統合をInvenioソフトウェアパッケージの一部として提供すること。

提案手法

• Invenioのドキュメントインデックス作成ロジックを下位の検索エンジンから分離するための汎用ブリッジコンponentの開発。
• Solr統合の実装により、全文コンテンツおよびメタデータをインデックス化し、Solrの高度なテキスト分析およびランク付け機能を活用。
• 同じ汎用ブリッジをXapianに対しても適応し、同等のインデックス作成および検索操作を可能にした。
• CERNドキュメントサーバー（大規模なInvenioベースのリポジトリ）内に、SolrおよびXapianの統合をデプロイし、評価した。
• 標準化されたAPIおよび設定を用いることで、機関がSolrとXapianの間で最小限のコード変更で切り替え可能となるようにした。
• 実際のワークロード（数百万件の文書を含む）下での検索パフォーマンス、インデックス作成スループット、スケーラビリティを評価した。

実験結果

リサーチクエスチョン

• RQ1 CERNドキュメントサーバーのような大規模なデジタルリポジトリにおいて、フルテキスト検索およびランク付け機能を効果的に向上させる方法は何か？
• RQ2 機関リポジトリの文脈において、SolrとXapianを使用する際のパフォーマンスおよびスケーラビリティのトレードオフは何か？
• RQ3 複数の検索エンジンをサポートしつつ、高いパフォーマンスと拡張性を維持できる汎用インデックスブリッジを設計できるか？
• RQ4 生産環境規模のInvenioデプロイメントにおいて、SolrとXapianはインデックス作成速度、クエリ応答時間、リソース利用率の点でどのように比較されるか？
• RQ5 数百万件の文書を含むリポジトリにおけるフルテキスト検索のスケーリング課題の主な要因は何か。また、それらは現代の検索エンジンを活用することでどのように軽減できるか？

主な発見

• Solr統合により、Solrの高度な語の類似度および関連性スコアリングアルゴリズムを活用することで、検索効率とランク付けの質が顕著に向上した。
• 汎用ブリッジアーキテクチャにより、インデックス作成ロジックと検索エンジンが成功裏に分離され、SolrおよびXapianの両方へのシームレスなサポートが実現した。
• CERNドキュメントサーバーのワークロードにおいて、複雑なクエリ処理および大規模なフルテキストインデックス作成において、SolrがXapianよりも優れたパフォーマンスを示した。
• Xapianアダプタは、小規模またはリソース制限のある環境向けに強力なパフォーマンスを示す、実用的で軽量な代替手段を提供した。
• 両方の統合は正常にデプロイされ、Invenioソフトウェアパッケージに統合されており、機関による即時導入が可能である。
• CERNドキュメントサーバーにおけるスケーラビリティ課題は、最適化されたインデックスパイプラインおよび分散型Solr構成により軽減された。